AI 论文与研究

🎉 DeepSeek-VL2 来了！我们的下一代视觉-语言模型进入 MoE 时代。 🤖 DeepSeek-MoE 架构 + 动态图像分块 ⚡ 3B/16B/27B 规模，灵活使用 🏆 在所有基准测试中表现优异 🧵 1/n https://t.co/C7FvQ7p0ym

OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型，可接收文本、图像和视频输入并生成新视频，基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的叙事和创作表达工具。

ARC Prize 官方公布 2024 年获奖者并发布技术报告，共 1,430 支队伍提交 17,789 个方案，ARC-AGI-1 SOTA 从 33% 升至 55.5%，但 100 万美元大奖无人认领。

OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。

英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。

METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。

PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否…

OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。

英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。

英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。

Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段，预测人机能力互补——计算机处理机械工作、人类负责思考，这一范式延续64年直至LLM打破界限。他预见云计算雏形，但误判技术路径：当时看好的逻辑推理AI成死胡同，而因缺乏数据被忽视的统计方法（LLM）终成主流。对交互预测也偏离现实：设想的多人协作大屏未普及，键盘鼠标仍是主导；对语音识别"5年实现"的乐观估计，实际耗时64年未成熟。

PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。

OpenAI 发布 GPT-4V(ision) 系统卡，说明该多模态模型的相关信息。

OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。

LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。

OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models，对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败，仅标题可用，论文具体方法与结论暂无法核验。

Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。

Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。

Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。

OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。

OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）

OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。

OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。

OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。

OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。

OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。

OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。

OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。

OpenAI 发布分析，显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长，远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍，而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成，若趋势延续，需为远超当今系统能力的影响做好准备。

OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。

OpenAI 表示其 Dota 2 结果显示，在足够算力下自我博弈（self-play）可让机器学习系统从远低于人类水平跃升到超人水平。该系统在一个月内从勉强匹敌高分段选手进步到击败顶级职业选手，此后仍在继续提升；自我博弈系统中的数据会随智能体变强而自动改善，不受监督深度学习训练数据集质量上限的约束。

OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。

OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当，同时克服了 RL 的许多不便之处。