NVIDIA 研究资深人士 Sanja Fidler 推出 Veeda AI,用于机器人世界模型

前NVIDIA人工智能研究副总裁正与Zan Gojcic和Huan Ling一起围绕面向具身代理的模拟环境构建Veeda。

By · Published

Primary source: X

Why it matters

A team that helped shape NVIDIA's world-model research is now trying to own the model layer independently, betting simulated interaction will supply the training scale that robotics still lacks.

NVIDIA research veteran Sanja Fidler launches Veeda AI for robot world models — The former NVIDIA AI research vice president is building Veeda with Zan Gojcic and Huan Ling around simulated environments for embodied agents.

Sanja Fidler (@FidlerSanja) 周三与长期合作者 Zan Gojcic (@ZGojcic)Huan Ling (@HuanLing6) 一起推出了 Veeda AI,成立了一个新的 AI 实验室,用于构建世界模型,可以在生成的物理环境中训练机器人。

Fidler 在 X 上的帖子中介绍了 Veeda AI 于8月19日。此次发布为她在 NVIDIA 工作八年期间提出的世界模型论提供了一个公司名称和商业落地:机器人在其策略部署到硬件之前,需要能够反复行动、失败并适应的逼真交互式仿真环境。

从 NVIDIA 研究到创业公司

Fidler 于7月31日宣布离开 NVIDIA,她曾领导该公司在多伦多的 AI 研究工作并晋升为 AI 研究副总裁。她仍是 University of Toronto 的副教授,并且是 Vector Institute 的联合创始成员。根据她的University of Toronto 简介,她的研究集中在计算机视觉、三维场景理解、仿真和多模态模型。

Veeda 的其他创始人在重建、生成模型及训练这些模型所需的数据系统方面延续了这项工作。Gojcic 曾在苏黎世领导 NVIDIA 的研究,致力于用于物理 AI 的神经重建和生成世界仿真。他在 ETH Zurich 获得三维计算机视觉博士学位,曾在 Stanford 担任访问研究员。

Ling 在 Fidler 的指导下在 University of Toronto 完成了博士学位,后来成为 NVIDIA 的研究经理。他的团队从事生成世界模型和高保真基础模型的研究,包括对 NVIDIA Cosmos 的贡献,NVIDIA 这家芯片制造商用于构建和适配模拟物理环境模型的平台。

这三位创始人已经共同发表研究并协作建设多年。这段共同的历史为 Veeda 提供了一个技术基础,涵盖视频生成、三维重建、仿真和训练基础设施,而不是围绕当前机器人资金周期组建的创始团队。

世界模型的赌注

Veeda 表示正在开发能够模拟物理现实的多模态基础世界模型,目标是创建让具身化 AI 代理通过交互学习的环境。其公开论点直截了当:仅靠从记录的人类行为中进行模仿学习不足以产生广泛能力的机器人。

现实世界的试错既慢又昂贵,还可能损坏机器或伤及人身。Veeda 希望将大部分此类学习转移到可由软件复制、加速和多样化的生成环境中。创始人将拟建系统描述为物理 AI 的 "the Matrix",尽管 Veeda 的首要任务是更不电影化的工作,即使生成的场景足够一致,让机器人能够从中学习到有用的行为。

该公司的招聘信息 显示了任务的规模。Veeda 正在招聘从事图像、视频和三维多模态生成的研究人员和工程师,以及分布式训练、数据策划和机器学习基础设施人员。其列出的地点包括多伦多、苏黎世、山景城和新加坡。

这些岗位显示出这是一家以计算和数据为主的模型公司,而非机器人硬件制造商。Veeda 的目标是位于机器人策略之下的仿真层:用于在部署前训练和评估机器人的生成世界、传感器观测和交互体验。

与他们曾共同建立的实验室竞争

Veeda 进入的领域中,NVIDIA 已经在推动一个开放的模型栈。NVIDIA Cosmos 将世界生成、物理推理和动作建模相结合,面向机器人、自动驾驶车辆和其他物理 AI 系统。其最新系列 Cosmos 3 被设计用于处理和生成语言、图像、视频、音频和动作的组合。

Fidler 的离开使 Veeda 与她在 NVIDIA 内部所帮助建立的技术领域紧密相关。Ling 曾是 Cosmos 的核心贡献者,而 Gojcic 在 NVIDIA 的工作则侧重于构建和模拟三维环境。Veeda 现在正把那种研究传承转化为一家独立公司,其价值将取决于其模型是否能在传统模拟器、记录演示和合成视频管道之外提升机器人训练效果。

这就是核心的技术考验。生成的环境可能看上去令人信服,但却产生错误的物理、前后不一致的物体或对代理动作产生不真实的后果。机器人开发者需要能够在交互中保持一致性并能转化为在真实机器上可测量收益的仿真。

Veeda 下注认为交互式世界模型将成为类似于互联网文本为语言模型提供的那种扩展机制。Fidler 离开了资金充足的物理 AI 项目之一,与两位曾帮助她建设该项目的研究人员一起追寻这一赌注。

Reader comments

Conversation for this story loads after sign-in.