AI圈报
观点 / 方法精选

smevals:用于评测模型、提示词与评测框架的小型评测套件

信息来源:Simon Willison 博客·
原始标题:smevals - a small eval suite for evaluating models, prompts, and harnesses

内容摘要

smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具,用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 `uvx smevals run` 对 gpt-5.5、claude-opus-4.6 等模型运行评测,并将运行与打分分离,最终可生成静态 HTML 报告。这是 Willison 在评测方法上的第三次迭代。
内容分类AI 观点与方法
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Simon Willison 博客
站内情报编号intel-ddabd1446ee168e30a2b365d