自主智能体安全无法跨迭代组合

Arena 推出基于真实用户任务的智能体排行榜，评估模型在代码编写、应用构建、文档分析等工作中的表现，而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码，综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名：GPT-5.5 High（+10.7%）、Claude Opus 4.7 Thinking（+9.5%）、GPT-5.4 High（+8.9%）。

hexoai开源了SIA（自我改进AI）框架。该框架展示了AI智能体不仅能优化其外部工作流（harness），还能通过任务反馈直接更新自身的模型权重，从而在领域知识和能力上实现自主提升，而非仅依赖人类提供的提示或工具改进。论文报告显示，SIA在LawBench基准上性能提升56.6%，在GPU kernels运行上耗时减少91.9%，在单细胞RNA去噪任务中相比基线提升502%。

Google DeepMind提出了AlphaProof Nexus系统，它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中，不断读取Lean的编译错误并进行修正，还可调用更强的工具辅助解决子问题。这一机制迫使模型将每一步逻辑都转化为可编译、可验证的代码，从而将其角色从"令人信服的叙述者"转变为"候选方案生成器"。在针对353个Erdős问题和492个开放猜想的测试中，系统成功解决了9个Erdős问题并证明了44个序列猜想。该研究展示了形式化…

研究发现，恶意检索文档可提升模型token置信度与输出一致性，导致基于不确定性的检测器失效。作者将攻击下注意力集中于投毒文档而非分散于检索证据的现象称为"注意力崩溃"（Attention Collapse）。因此，仅检查最终答案或置信度可能漏报，监控检索文档间的注意力分布或可提前暴露投毒。

一项实验让AI智能体在6天、3000美元预算内产出两篇研究论文，结果均遭拒稿。执行层面毫无问题--智能体运行了数百次实验、调试GPU集群并完成LaTeX排版，但判断力缺失导致其面对负面评审时只会收窄论点、添加免责声明，而非重新设计实验。两轮实验结束时预算均剩余过半，说明问题在于想法匮乏而非资源不足。

新论文提出 PILOT 框架，让智能体在任务运行中实时自我改进，而非等运行结束后才学习。监督者实时观察工作进程、可引导或中止，并将经验写入持久技能与记忆。在 6 项模型基准配置中 5 项排名第一，GLM-5.1 与 Kimi-K2.6 在 Terminal-Bench 2.0 上最佳通过率分别提升 14.6 和 12.4 个百分点，输出 token 量下降 42.9% 和 47.4%。

CritICL 方法让大模型通过小模型家族已知错误来提升推理能力。该方法在小模型上运行数学题并保存错误答案及简短批评，新问题时将最可能犯的错误批评加入大模型提示词，1 次生成即可获得答案，而非通常的 5 次。

Redwood 芯片由 AI 系统从规格说明自主完成设计、测试、固件与内核，2 位人类架构师仅编写规格，规格变更后 48 小时内即可在真实硬件上运行。

论文提出 Model Discovery Agent（MDA），让 LLM 提出数据解释，再用标准贝叶斯数学挑选最能区分这些解释的实验，避免在验证既有想法的实验上浪费资源。在物理基准上，MDA 的模型在 93% 的运行中准确到可通过，而同一 LLM 单独工作时仅为 31%。MDA 还用 8 次实验匹配了已发表结果，而后者约需 41 次。

一项针对557次真实编码会话和33，097个智能体PR的实证研究发现，编码智能体主要阅读AGENTS.md、CLAUDE.md等指令文件（占35.4%）及自身计划笔记（25.1%），API参考仅占1.3%。文档阅读直接触发代码编辑的情况极少（1328次中仅3次），且未发现智能体对照文档检查工作的案例。研究建议开发者更重视指令文件而非API文档的编写。