Robocurve 发现 Gemini 模型在机器人任务上的表现优于其通用 AI 得分
其初步指数涵盖了五项双手操作任务和11种模型配置；在移除 Gemini 后，所报告的与通用 AI 能力的相关性从 0.20 提高到 0.96。
By Ryan Merket · Published
Primary source: X
为何重要
模型在广泛 AI 基准上的得分可能无法预测其在物理任务上的表现。Robocurve 的试点为研究人员提供了直接测试这一差距的具体理由，但其任务和模型样本规模较小，使得这一发现仍属初步。
Robocurve 报告称，在一小组真实机器人任务上，Gemini 模型的得分远高于其通用 AI 能力排名所预测的水平，这是一个早期迹象，表明通用模型排行榜可能会错过物理性能上的差异。San Francisco Public Benefit Corporation 在 10 月 15 日通过一个 X 帖子 和由 Drew T. Nguyen 主导的 技术报告 发布了这一发现。
Robocurve 的原始帖子随其关于机器人任务表现与通用 AI 能力排名的报告一同发布。原始图片来自 @robocurve。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.