Nous Research 在阿里 Qwen3.8-27B 基础上做后训练,强化西方价值观,开源了 Arete-27B(
Geek
@geekbb
·
2026-11-08
·4 次浏览
Nous Research 在阿里 Qwen3.8-27B 基础上做后训练,强化西方价值观,开源了 Arete-27B(取自古希腊语 ἀρετή,意为卓越/美德)。
国产开源底座确实版本 T0,但权重里自带思想钢印。他们这次证明了一个很关键的结论:这层钢印其实很浅,根本没入脑,花点蚊子腿成本就能给它彻底刮干净,而且写代码和 Agent 能力一滴没掉,划重点:低成本。
评测设计是这次最有深度的地方。他们开源了 803 道题的 Propaganda_Eval(涵盖言论自由、监控与隐私等 7 类),直接拉来 Grok 4.7 当盲评青天:一边测“事实分”,只要拿官方说辞否定任一核心事实直接记 0 分;一边测“宣传分”,把官方口径当既定事实背书才算,裁判必须摘录原话当证据,不能乱扣帽子。
训练甚至没上强化学习,只用 5280 万 token(2 万条 prompt、约 5 万样本,全走代码级 PR 审核)做普通微调,就把这项评测里的宣传率从 22% 压到了 0.9%。选老师模型时还有个插曲:原本想用 Nemotron 3 Ultra,结果测出它在涉华话题上也被开源数据“交叉污染”了,最后才选了表现最干净的 Inkling。
国产开源底座确实版本 T0,但权重里自带思想钢印。他们这次证明了一个很关键的结论:这层钢印其实很浅,根本没入脑,花点蚊子腿成本就能给它彻底刮干净,而且写代码和 Agent 能力一滴没掉,划重点:低成本。
评测设计是这次最有深度的地方。他们开源了 803 道题的 Propaganda_Eval(涵盖言论自由、监控与隐私等 7 类),直接拉来 Grok 4.7 当盲评青天:一边测“事实分”,只要拿官方说辞否定任一核心事实直接记 0 分;一边测“宣传分”,把官方口径当既定事实背书才算,裁判必须摘录原话当证据,不能乱扣帽子。
训练甚至没上强化学习,只用 5280 万 token(2 万条 prompt、约 5 万样本,全走代码级 PR 审核)做普通微调,就把这项评测里的宣传率从 22% 压到了 0.9%。选老师模型时还有个插曲:原本想用 Nemotron 3 Ultra,结果测出它在涉华话题上也被开源数据“交叉污染”了,最后才选了表现最干净的 Inkling。
♥ 44
↻ 5
💬 15
❝ 0
518 字



