论文研究普通
DeepMind 新研究:推理时回灌深层激活可降困惑度
原始标题:New Google DeepMind paper shows, a transformer's shallow layers never see what its deeper layers hav…
内容摘要
Google DeepMind 新论文提出"Recirculation"方法:推理时将深层激活的一小部分混入浅层,权重不变,即可恢复模型在长上下文中丢失的部分状态。在 Gemma3 上,10 个语言建模数据集中 9 个困惑度下降,12B 模型最高降 35%,但多项选择收益有限;该方法无需重训,但代价是预填充无法并行,且收益不跨模型家族迁移。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-ad4d95d7b7b2b5641dc35893