模型评测需标准化测试框架

DAIR.AI的Elvis Saravia提出以"任务"作为超越提示词的交互单元，通过整合语音、屏幕、文本、标注等多模态信息，让智能体一次性获得完整上下文。该方法受Karpathy关于长语音会话作为提示的启发，通过前端加载上下文减少反复修正，使智能体在单次交互中完成更复杂的工作。

Elvis Saravia 介绍使用 human-in-the-loop（HITL）来提升 agentic loops 的可靠性。他所有 Claude 和 Codex agent 会话都通过 @DialAgent MCP 服务器，该服务器为 agent 提供专属号码，支持语音、SMS、iMessage 作为原生工具。当循环/自动化处理 PR 或新功能时，agent 会通过简短电话将决策升级给人类，尤其适合在路上或离开电脑时。用户可粘贴指令让 agent 拨打电话测试。Dia…

YT 视频 -> Artifacts 看看我如何使用新的 /youtube-notetaker 技能从 YT 视频生成 Artifacts。 捕获幻灯片、笔记、转录内容…… 快去试试 ↓

DAIR.AI 的 Elvis Saravia 表示，并非所有任务都需要前沿模型，开源模型在自动化任务中表现出色。他将大部分 token 使用迁移至本地或开源模型，通过自调技能处理重复性任务，显著降低成本，并将节省的预算用于更复杂的封闭前沿模型任务。他认为同时使用开源与闭源模型、掌控模型与工具链将成为最佳实践。

各位，请掌控好你的工具链。 这样，你就能决定使用哪些模型以及如何使用它们。 但别止步于此。如果条件允许，开始思考如何掌控模型层。

Elvis Saravia 反驳"Grok @bot 每次都要先命名机器人很蠢"的观点，认为强制命名让智能体团队易于识别，是设计优点。他将 Grok Bot 视为团队管理，由 CTO、CMO 等高层智能体自动处理子任务命名与分支，减少认知负担，使 PR 交付量提升约 5 倍。

DeepSeek 框架堪称工程典范。 GitHub 上已获 20 万星标。厉害！ 显然，他们构建这一框架时，已考虑到未来 AI 的需求与能力。 一切皆可插件化、可定制，这正是未来框架应有的形态。

Elvis Saravia 反驳"自建智能体框架无 alpha"的观点，认为框架与模型相辅相成，是智能体栈的核心资产。他强调即使模型能即时生成框架，关键定制仍须自持，并主张所有 AI 构建者都应像前沿实验室一样自主构建，而非依赖他人。

推荐阅读。搜索API可能看起来不同，却返回相同的错误结果。 这是个问题。 Keenable的NEEDLE基准发现，Brave、You和Parallel之间的错误重叠率达70-90%。 对于智能体而言，只有当底层索引真正独立时，组合多个提供商才能提升覆盖率。

什么是 MCP？ 说正经的，智能体的协调与通信仍是未解难题，但对于一个日益走向主动式智能体的世界来说，这又是必不可少的。 我一直在分享大量关于这一主题的论文，你可以看出我们还处于非常早期的阶段。