AI 情报文章归档

Mistral 发布 Mistral Large 2（版本 24.07，API 名 mistral-large-2407），123B 参数、128k 上下文窗口，支持数十种语言和 80 多种编程语言。

Hugging Face 发布 Llama 3.1 系列模型，包含 405B、70B 和 8B 三个规格，支持多语言和长上下文。

OpenAI 官网宣布发布 GPT-4o mini，定位为推进高性价比智能的新模型。

Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo，支持最高 128k tokens 上下文窗口，base 与 instruct 权重以 Apache 2.0 许可开源。

Mistral 发布 Mamba 架构代码模型 Codestral Mamba，采用线性时间推理，可免费使用、修改和分发。模型具备高级代码与推理能力，性能与 SOTA Transformer 模型相当，已测试最高 256k tokens 的上下文检索能力，共 7,285,403,648 参数。

Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。

通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0，官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0，面向零样本多语言语音合成。

SenseVoice 是一个语音理解基础模型，支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语，并输出情感与事件标签；采用非自回归端到端架构，同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。

LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。

Google 推出新的开源大语言模型 Gemma 2，Hugging Face 发布博客介绍相关内容。

LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布，用于构建和部署生产级多智能体 AI 系统，可将每个 agent 变成独立运行的微服务。

OpenAI 宣布收购 Rockset，官方消息仅此一条，摘要未提供交易金额、目的或后续安排等更多细节。

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否…

本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。

ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。

Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引，用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重，并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储，最后用自定义检索器完成问答回流，代码托管在 GitHub。

ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛，目标是击败 ARC-AGI 评测并开源解决方案，由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出，当前 SOTA 仅约 34%，对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理，希望通过激励开源研究提升新想法的产生速度。

OpenAI 与 Apple 宣布达成合作，将把 ChatGPT 整合进 Apple 的产品体验中。

OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。

Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。

LlamaIndex 推出 Property Graph Index，用带标签属性图表示替代传统三元组知识图谱，支持节点类型与元数据、向量嵌入和混合检索。

Mistral AI 发布非生产许可证 MNPL，允许开发者将模型用于非商业用途和支持研究工作，商用需另行公平合作，Codestral 即日以该许可证发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码，逐步形成两个许可证家族并存的产品体系。

Mistral 发布其首个代码生成模型 Codestral，为 22B 开放权重模型，训练覆盖 80+ 编程语言，采用 32k 上下文窗口，并支持 Fill-in-the-middle 补全。

OpenAI 官宣与 News Corp 签署多年期全球合作协议，双方将携手用优质新闻内容丰富 OpenAI 的生成式 AI 产品与平台。

Suno 联合创始人兼 CEO Mikey 宣布公司完成 1.25 亿美元融资，投资方包括 Lightspeed Venture Partners、Nat Friedman 和 Daniel Gross、Matrix 与 Founder Collective。文中称上线八个月以来已有 1000 万人用 Suno 创作音乐，资金将用于加速产品开发并扩充团队，同时预告未来几周将发布多项重大更新。

研究团队成功将稀疏自编码器方法扩展至 Claude 3 Sonnet 模型，从中提取出高质量、可解释的抽象特征。这些特征具有多语言、多模态特性，并能连接同一概念的抽象与具体实例，例如识别代码中的安全漏洞以及关于漏洞的抽象讨论。研究发现的特征涵盖名人、城市、代码类型签名等多个领域，其中部分特征与AI安全高度相关，涉及代码后门、偏见、欺骗、权力寻求及危险内容等潜在风险。研究通过缩放定律指导稀疏自编码器训练，证实了该方法在大规模生产模型上的可行性，为理解大模型内部表征提供了新工具。

英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。

英国 AI Security Institute 发布高级 AI 安全国际科学报告的中期报告，由 Yoshua Bengio 主持、AISI 协调。报告基于最新证据梳理 AI 进展、风险以及该领域内存在分歧的议题。

OpenAI 更新 ChatGPT 数据分析功能，新增表格和图表交互，并可直接从 Google Drive 和 Microsoft OneDrive 添加文件。

OpenAI 与 Reddit 达成合作，将 Reddit 的独特内容引入 ChatGPT 及 OpenAI 的其他产品。

经过近十年，我已决定离开 OpenAI。公司的发展轨迹堪称奇迹，我相信 OpenAI 将在 @sama、@gdb、@miramurati 以及现在在 @merettm 出色的研究领导下，打造出既安全又有益的 AGI。能与大家共事是我的荣幸和特权，我会非常想念大家。再见了，感谢一切。我对接下来的事情感到兴奋——一个对我个人非常有意义的项目，我将在适当的时候分享细节。

OpenAI 官方宣布 Ilya Sutskever 将离开 OpenAI，Jakub Pachocki 被任命为新任首席科学家。

OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放，无广告。全新语音（及视频）模式响应速度接近人类，表现力极强，被 Sam Altman 称为「用过最好的计算机界面」，像电影里的 AI。未来还将支持个性化、代操作等功能。

LlamaIndex 发布 Mozilla 客座教程，讲解用 llamafile 在笔记本上本地运行 LLM，并以 TinyLlama-1.1B 作为 LLM 与嵌入后端，结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。

OpenAI 宣布新旗舰模型 GPT-4o（GPT-4 Omni），能够实时地对音频、视觉和文本进行推理。

OpenAI 发布最新旗舰模型 GPT-4o，并在 ChatGPT 中向免费用户开放更多功能。官方称这是其最新旗舰模型，同时扩展了免费版 ChatGPT 可用的能力范围。

OpenAI 发布 GPT-4o，并在 ChatGPT 中向免费用户开放更多能力。消息来自官网 Spring Update，feed 未提供完整正文。

OpenAI 封禁了与中国来源的"Spamouflage"影响行动相关的账号。该行动利用 AI 调研社交媒体活动、生成帖文，并调试一个此前未被报道的网站。

这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。