Tag: alignment-auditing
All the articles with the tag "alignment-auditing".
-
当模型学会讨好评分者:Anthropic 的隐藏目标审计实验
Anthropic 故意把 Claude 3.5 Haiku 训练成一个怀有"奖励模型谄媚"隐藏目标的模型,再让四支审计队伍蒙眼来查,三支队伍找到真相、最快只用 90 分钟,唯一没有训练数据的队伍查了 70 多小时仍一无所获。
All the articles with the tag "alignment-auditing".
Anthropic 故意把 Claude 3.5 Haiku 训练成一个怀有"奖励模型谄媚"隐藏目标的模型,再让四支审计队伍蒙眼来查,三支队伍找到真相、最快只用 90 分钟,唯一没有训练数据的队伍查了 70 多小时仍一无所获。