我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.
karminski-牙医
@karminski3
·
2026-11-10
·5 次浏览
我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.8-27B-DSpine-b16 这个新草稿模型. 直接从原来 MTP 加速的1.6倍左右提升到了3倍. 官方测试来到了 805 tps (8并发). 官方没说是什么卡, 但是从用的 FlashAttention 3 来看应该是 Hopper 架构的卡.
他是怎么做到的的呢?
他是怎么做到的的呢?
♥ 205
↻ 21
💬 22
❝ 2
199 字