AI圈报
论文研究精选

对齐如何路由:语言模型策略电路的定位、扩展与控制

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models

内容摘要

研究定位了对齐训练语言模型的策略路由机制:中间层注意力门控检测内容并触发深层放大头输出拒绝信号。该机制在2B至72B参数的12个模型中普遍存在,随规模扩大从单头演变为跨层头带。实验证实门控层贡献不足1%输出却具因果必要性,单头消融在72B模型上效果减弱58倍。调节检测层信号可连续控制策略强度,甚至将拒绝转为有害回答。替换密码可使安全机制失效70-99%,而注入明文门控激活可恢复48%拒绝行为,表明安全能力仅被路由门控而非真正移除。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-69fb3c80b7070dd036954c2d