AI圈报
论文研究普通

冻结主干只训投影层:新模态不损原能力

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:You can teach a language model a new modality without ever touching the backbone's weights. Train …

内容摘要

新研究提出"Projector Is All You Train":为语言模型添加新模态只需训练连接编码器与主干的投影层,无需微调模型本身。3D 测试中,冻结主干的模型性能持平或超越联合微调,训练速度快一倍,而联合微调的 Llama 在 GSM8K 上从 86.96% 暴跌至 0.61%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-0ba35539259be92d8619cdbc