主会话 + Thread 的模式,优化好的话 Token 消耗其实还好。 首先主会话反而不需要特别强的模型,Sonnet
宝玉
@dotey
·
4 天前
·3 次浏览
主会话 + Thread 的模式,优化好的话 Token 消耗其实还好。
首先主会话反而不需要特别强的模型,Sonnet 5.5 这个级别都够用了,因为它的主要职责是甄别和路由,或者说调度。
就跟公司前台一样,你不需要招一个专家,只要知道什么任务该找谁。
主会话里面很多任务都可以让 Thread 去完成,反倒是 Thread 应该用相对强一些的模型。当然更科学的办法是主会话在调度的时候根据任务难度去选择合适的模型。
比如我在用 Claude Project 的时候,主会话是 Sonnet 5.5,子任务是 Opus 5.5。
另外就是 Prompt Caching 的利用。
像主会话这种,特点是偶尔来个消息,很难利用好缓存,所以缓存如果过期了,不应该跟把所有历史会话和工具调用都发过去,而是只把最新的几条消息记录发过去,再配合 Session 的检索工具,可以很容易的收集齐上下文。
而对于 Thread,则是像传统的 Session 会话,会集中时间有很多对话,通常 Cache 利用率很高,但是也可能会出现缓存过期后又来新的消息,所以最佳策略是在缓存快过期的时候,比如 50 分钟(如果缓存一个小时的话)的时候,压缩一下上下文。
首先主会话反而不需要特别强的模型,Sonnet 5.5 这个级别都够用了,因为它的主要职责是甄别和路由,或者说调度。
就跟公司前台一样,你不需要招一个专家,只要知道什么任务该找谁。
主会话里面很多任务都可以让 Thread 去完成,反倒是 Thread 应该用相对强一些的模型。当然更科学的办法是主会话在调度的时候根据任务难度去选择合适的模型。
比如我在用 Claude Project 的时候,主会话是 Sonnet 5.5,子任务是 Opus 5.5。
另外就是 Prompt Caching 的利用。
像主会话这种,特点是偶尔来个消息,很难利用好缓存,所以缓存如果过期了,不应该跟把所有历史会话和工具调用都发过去,而是只把最新的几条消息记录发过去,再配合 Session 的检索工具,可以很容易的收集齐上下文。
而对于 Thread,则是像传统的 Session 会话,会集中时间有很多对话,通常 Cache 利用率很高,但是也可能会出现缓存过期后又来新的消息,所以最佳策略是在缓存快过期的时候,比如 50 分钟(如果缓存一个小时的话)的时候,压缩一下上下文。
♥ 125
↻ 13
💬 161
❝ 8
527 字


