Apptronik 的 Apollo 2 在三种机器人配置上运行 Gemini Robotics 2

Google 的 Gemini Robotics 2 在三种配置下控制了 Apollo 2,报告的灵巧度结果从32%到92%不等。

By · Published

Primary source: Google DeepMind

Why it matters

Google gets real-world robot data and Apptronik gets a frontier model layer, but the disclosed task results show why commercial reliability remains the gating issue.

Google DeepMind puts Gemini Robotics 2 in control of Apptronik's Apollo 2

7月30日的公告中,Google DeepMind推出了Gemini Robotics 2,并将该模型用于控制 Apollo 2——这是 Apptronik 联合创始人 Jeff Cardenas and Nick Paine 十年来将 University of Texas 的研究转化为工业机器人的人形平台。

Google DeepMind 在 X 上

这次发布为 Cardenas 和 Paine 提供了他们在2024年12月与 Google DeepMind 宣布的合作的一种可运行版本:Apptronik 提供机身、部署场地和物理训练数据,而 Google 提供旨在理解指令、规划任务和控制运动的模型。在随附的 X 视频中,Google DeepMind 将 Apollo 2 描绘为模型的用户,这是一种对两家公司都很严肃测试的俏皮呈现方式。

撰写 Gemini Robotics 2 公告的 Google 机器人学负责人 Carolina Parada 曾在现在融合进人形机器人中的多个感知问题上工作。她此前曾在 Google 负责语音工作七年,并在 Nvidia 负责自动驾驶车辆的摄像头感知两年。她在 Google 的机器人学团队侧重于机器人移动性和视觉。

对 Cardenas 和 Paine 来说,Gemini Robotics 2 是对一个老商业化论断的检验。Cardenas 在 UT Austin 的 IC2 Institute 工作,帮助研究人员将技术从实验室推向市场。Paine 在 UT Austin 获得了三个电气与计算机工程学位,开发了该校的 Series Elastic Actuator,并曾在 NASA-Johnson Space Center 的团队中为 Valkyrie humanoid 构建执行器和控制系统。

他们于 2016 年在 UT Austin 的 Human Centered Robotics Lab 创办了 Apptronik。Apollo 2 将这些工作打包成一个为全身运动和灵巧操作设计的机器人平台。其模块化设计支持双足和轮式配置、可更换电池、车队软件以及 Apptronik 的执行器技术。Gemini Robotics 2 的目的是让硬件可以用于那些无法简化为固定编程动作序列的任务。

一个检查点,多种机器人机体

Gemini Robotics 2 是由三种模型组成的系列。主要的视觉-语言-动作模型将视觉和语言输入转换为运动指令。Gemini Robotics ER 2 负责更高层次的推理、沟通和跨越数分钟的任务规划。Gemini Robotics On-Device 2 在本地运行,适用于网络延迟或连接性可能成为隐患的场景。

Google 表示,一个 Gemini Robotics 2 的检查点控制了三种配置:Apollo 2 配备 SharpaWave 手、Apollo 2 配备 Inspire 手,以及装有 Robotiq gripper 的 Franka Duo 机器人。这样的可移植性在商业上很重要。若每种手、传感器包或机体形状都需要重建模型,模型就难以支持广泛的硬件市场。

在 Google 的 Apollo 演示中,一名人员让机器人把一个浇水壶放到底层货架的绿色箱子里。Apollo 2 走到一张桌子旁,取下水壶,走到货架并将其放到指定位置。其他演示展示了机器人打结、密封拉链袋和操作灯泡的能力。

SharpaWave 手有五个手指和 22 个自由度,这为模型提供了比传统两指抓手更大的动作空间。Google 还表示其本地设备模型可以用几个小时的数据适配到新的双臂机器人,通常少于 200 个示例。Google 提供Gemini Robotics 2 早期访问候补名单,而Gemini Robotics 模型页面将 Gemini Robotics ER 2 关联到 Google AI Studio。

任务结果显示了人形机器人仍会失败的地方

Google DeepMind 报告的结果为这些演示划定了边界。使用 Inspire 手时,Apollo 2 在从桌子上拾取物体的平均成功率为 68.4%,从地面为 45.7%,从货架为 76.3%。

在使用 SharpaWave 手的多指任务中,性能有所下降。Google 报告在拧入灯泡任务的成功率为 36%,在打垃圾袋结为 44%,扫帚和簸箕任务为 32%,密封拉链袋为 40%。拧出灯泡的成功率达到了 92%。

这些是公司报告的测试结果,而不是部署准备度的独立衡量。它们也说明了为什么灵巧性比制作一个令人信服的视频更难。仓库或工厂客户会通过完整班次、干预率、运行时间、安全性和每项任务成本来评判 Apollo 2。一个在密封袋子任务上四次成功中只有一次成功的机器人仍然需要监督或更狭窄的工作定义。

Google 表示多指灵巧操作仍然具有挑战性。此次发布的有价值之处在于,Google 在给出较好结果的同时也公布了容易失败的类别。32% 到 92% 之间的范围表明,灵巧性并非单一能力。接触、握持和任务几何的细微变化会产生非常不同的结果。

Apptronik 正在围绕 Apollo 构建数据闭环

Apptronik 于 6 月 30 日公布了 Apollo 2 以及扩展后的、近 90,000 平方英尺的位于奥斯汀的 Robot Park。那里 Apollo 2 机器人通过遥操作和自主执行在物流、制造和零售任务中收集数据。

Cardenas 将 Robot Park 描述为一个持续学习的循环:机器人执行工作、收集数据,并将这些经验反馈到与 Google DeepMind 的模型开发中。Apptronik 表示,与包括 Mercedes-Benz 和 GXO 在内的合作伙伴正在运行类似的数据收集工作流程。Apptronik 尚未公布足够的运营数据来确立生产规模的可靠性,因此 Robot Park 应被理解为训练基础设施,同时也是一个商业部署展示场。

Google 获得了一个可重复的物理交互数据来源。Apptronik 获得了一个有资源训练大型多模态模型的智能供应方。这种分工让 Apptronik 可以集中精力在执行器、手部、 安全系统、制造和车队运营上,而不必独自资助前沿模型工作。

投资者对这一做法进行了大量投入。2 月,Apptronik宣布了一次 5.2 亿美元的 A 轮扩展融资,使本轮融资超过 9.35 亿美元,Apptronik 称其已筹集的总资本接近 10 亿美元。参与者包括 Google、B Capital、Mercedes-Benz、PEAK6、AT&T Ventures、John Deere 和 Qatar Investment Authority。Apptronik 表示该次扩展的定价为其早期 A 轮估值的三倍,尽管在公告中没有说明绝对估值。

这些资金应当把 Apollo 从原型和数据收集阶段推进到可重复的生产阶段。该融资也使得基准差距更难被视为常规研究问题。Apptronik 拥有设施、战略合作伙伴和资产负债表来推进商业部署。可靠性是剩下的考验。

硬件和模型层正在分离

Google–Apptronik 的合作反映了进入人形机器人市场的一条路径。Figure AI 正在构建一个纵向整合的堆栈,涵盖机器人硬件、模型、触觉系统和制造。Skild AI 正在追求一个旨在跨不同机器工作的通用机器人大脑层。Agility Robotics 则将注意力集中在其 Digit 机器人用于物流工作的领域。

Cardenas 和 Paine 将 Apptronik 放在那些方法之间。Apollo 2 是一个专有的硬件和运营平台,而其智能可以借助 Google DeepMind 的模型。Apptronik 仍然负责机器人硬件、安全系统和车队运营。其 Artemis system and Fleet Connect software 覆盖感知、规划、控制、安全、任务执行和已部署机器人的管理。

结果是分层架构,而不是由单一模型控制的机器人。Gemini Robotics 可以解读目标并生成动作,而 Apptronik 的系统处理物理机器及其运行约束。这种分离应当使在不重新设计机器人的情况下更新智能变得更容易。它也会带来依赖性——取决于两套复杂技术栈在受控演示之外协同工作的效果如何。

Apollo 2 既是产品也是试验场。Cardenas 和 Paine 已经构建了机体、训练设施和客户关系。Parada 的团队正在提供一系列模型,能够让该机体在房间内行走并用多种类型的手操作物体。披露的结果显示了有意义的进展,同时也凸显出一个具备广泛能力的人形机器人与一台可以被信赖完成每一个班次的机器之间的差距。

Reader comments

Conversation for this story loads after sign-in.