论文研究普通
MobilePA-Bench:面向复杂真实任务的移动端规划智能体评测基准
原始标题:MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks
内容摘要
MobilePA-Bench 是一个交互式、有状态且以工具为中心的评测基准,用于评估移动端规划智能体的工具调用与规划能力。它运行在可执行沙箱中,覆盖 13 个功能域和 212 个真实移动工具,并额外评测子智能体协作、记忆使用和技能调用三个高级维度。实验显示,当前前沿 LLM 在严格工具排序、权限限制和意外运行时错误下性能显著下降。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-05d4e7dbefc4f2d5c2e8c67e