XX2X 精选

我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.

karminski-牙医 的头像
karminski-牙医 @karminski3
· 2026-11-10 ·5 次浏览
在 X 上查看 ↗
我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.8-27B-DSpine-b16 这个新草稿模型. 直接从原来 MTP 加速的1.6倍左右提升到了3倍. 官方测试来到了 805 tps (8并发). 官方没说是什么卡, 但是从用的 FlashAttention 3 来看应该是 Hopper 架构的卡.

他是怎么做到的的呢?
♥ 205 ↻ 21 💬 22 ❝ 2 199 字

本条内容由 XX2 从 X 收录并作站内呈现,版权归 @karminski3 所有。

原文时间 2026-11-10 08:03:19(北京时间),采集于 2026-11-10 08:30:21。

查看原帖 ↗ ← 回到首页

@karminski3 的其他内容