好多同学好像最感兴趣如何做到AI语音这么低延迟的, 讲一下关键思路, 其实还是软件工程的老一套. 没啥魔法, 我说一下大
karminski-牙医
@karminski3
·
2026-10-30
·9 次浏览
好多同学好像最感兴趣如何做到AI语音这么低延迟的, 讲一下关键思路, 其实还是软件工程的老一套. 没啥魔法, 我说一下大家就能立刻学会:
降低延迟3个思路, 一个是固定一下常用语音, 比如我录屏里AI经常说"右侧有敌人", 这个完全就可以先把生成好的语音录下来, 然后遇敌触发的时候直接播放语音, 都不用调用大模型重新生成.
另一个是缓存, AI 每次对话完毕后可以给它实时生成的语音缓存下来, 下次一旦说了同样的话, 直接用hash播放本地缓存. 这样即省语音合成API的钱, 也速度快.
还可以手动给AI做MTP, 比如: 现在的游戏情况是blablabla, 现在需要做出的决策是: 1, 进攻, 2, 躲避, 3, 开箱子......, 如果在上述情况, 请输出{"decision":n}. 否则请使用标准模板进行回复 然后利用大模型prefill速度快但decode速度慢的机制, 让它只吐非常少的 token, 这样能做到最快2秒左右就吐字. 然后程序立刻根据 {"decision":n} 随机出来一条缓存的符合情况的语音. 这样实时效果就非常好.
最后以上都不行怎么办? 利用人类的注意力缺陷, 人不太适应跟多个人说话, 所以我这里有个小设计, 当上面的加速规则都没办法命中, 进入兜底流程, 真的让kimi开始生成文本, 然后再走语音合成了. 那么这时候会给kimi 一个2s的超时, 它没回复立刻就让另外一个AI队友先聊一句无关痛痒的, 这时候你的注意力就会被拉开. 等到AI大概5s左右回复了也会觉得还行这个AI队友可能忙着舔包呢.
上面这几个流程加起来, 还要有个时效性FIFO队列, 我设计的队列深度是5, 也就是说, 会积累5条语音按顺序播放, 防止AI抢话或者同事说话. 然后一旦超过队列深度, 立刻淘汰头部的三条. 因为这种情况多半是已经在打架了, 快速获得最新的信息反而是正确的.
上面就是整体的思路啦. 是不是没啥难的嘿嘿.
降低延迟3个思路, 一个是固定一下常用语音, 比如我录屏里AI经常说"右侧有敌人", 这个完全就可以先把生成好的语音录下来, 然后遇敌触发的时候直接播放语音, 都不用调用大模型重新生成.
另一个是缓存, AI 每次对话完毕后可以给它实时生成的语音缓存下来, 下次一旦说了同样的话, 直接用hash播放本地缓存. 这样即省语音合成API的钱, 也速度快.
还可以手动给AI做MTP, 比如: 现在的游戏情况是blablabla, 现在需要做出的决策是: 1, 进攻, 2, 躲避, 3, 开箱子......, 如果在上述情况, 请输出{"decision":n}. 否则请使用标准模板进行回复 然后利用大模型prefill速度快但decode速度慢的机制, 让它只吐非常少的 token, 这样能做到最快2秒左右就吐字. 然后程序立刻根据 {"decision":n} 随机出来一条缓存的符合情况的语音. 这样实时效果就非常好.
最后以上都不行怎么办? 利用人类的注意力缺陷, 人不太适应跟多个人说话, 所以我这里有个小设计, 当上面的加速规则都没办法命中, 进入兜底流程, 真的让kimi开始生成文本, 然后再走语音合成了. 那么这时候会给kimi 一个2s的超时, 它没回复立刻就让另外一个AI队友先聊一句无关痛痒的, 这时候你的注意力就会被拉开. 等到AI大概5s左右回复了也会觉得还行这个AI队友可能忙着舔包呢.
上面这几个流程加起来, 还要有个时效性FIFO队列, 我设计的队列深度是5, 也就是说, 会积累5条语音按顺序播放, 防止AI抢话或者同事说话. 然后一旦超过队列深度, 立刻淘汰头部的三条. 因为这种情况多半是已经在打架了, 快速获得最新的信息反而是正确的.
上面就是整体的思路啦. 是不是没啥难的嘿嘿.
♥ 149
↻ 11
💬 13
❝ 1
838 字
