Extropic 在 AI 电力需求上升之际发布其热力学计算论证

Guillaume Verdon 的硬件初创公司正在打造概率芯片和新算法,而不是加速 transformer 的数学运算。

By · Published

Primary source: X

Why it matters

Extropic is testing whether AI's power constraint can create room for a new computing architecture, but its 10,000x result still comes from a simple benchmark and modeled hardware.

An imposing, complex engine of thermodynamic computation grappling with escalating power demands (photocopied zine page — high-contrast xerox grain, cut-and-paste layout, degraded second-generation copy)

Guillaume Verdon (@GillVerd),这位在 Google 和 Alphabet 的 X 从事量子机器学习工作的物理学家、后来创立了 Extropic,于 7 月 29 日在 X 上发表了 a native article on X,在 Extropic 推动其围绕热力学重建 AI 计算的主张时发表此文。

Extropic 的赌注是,AI 的规模化最终会与传统数据中心的用电和制冷需求发生冲突。Verdon 和联合创始人 Trevor McCourt 试图在软件层之下解决这一限制,设计利用晶体管内部的自然噪声来执行采样操作的概率电路。

这种方法要求 Extropic 构建一个新的硬件和软件堆栈。Extropic 的芯片围绕概率比特(p-bits)设计,这些比特产生可调节的随机二进制信号。那些电路网络可以直接从能量基模型使用的概率分布中进行采样,能量基模型是一类通过能量函数表示关系的机器学习系统。

GPU 可以通过一系列确定性计算来执行同类的采样操作。Extropic 希望其电路的物理行为能直接完成大量这类工作,从而减少在传统处理器中消耗能量的数据移动和算术运算。

From quantum software to noisy transistors

Verdon 和 McCourt 之前曾共同参与 TensorFlow Quantum 的工作,该软件将量子计算研究与 Google 的机器学习框架连接起来。Verdon 在滑铁卢大学读研期间开发了该项目的早期工作,后来在 Alphabet X 的 Physics and AI 团队担任量子技术负责人。McCourt 随后在 MIT 从事量子控制与计量学研究。

二人在从以噪声通常被视为需要抑制的量子系统转向将噪声作为计算资源的室温晶体管电路后,于 2022 年创立了 Extropic。Extropic 在 2023 年完成了由 Kindred Ventures 领投的 1,410 万美元种子轮融资。Buckley Ventures、HOF Capital、Julian Capital、Marque VC、OSS Capital、Valor Equity Partners 和 Weekend Fund 与多位天使投资者包括 Aidan Gomez、Amjad Masad、Arash Ferdowsi、Garry Tan、Naval Ravikant 和 Tobias Lutke 共同参与了投资。

此后,Extropic 推出了 X0,一款用于验证其室温全晶体管概率电路的原型芯片。XTR-0,Extropic 的开发平台,通过低延迟接口将两个 X0 芯片连接到传统处理器。该混合设计让研究人员在将控制和其他工作负载保留在既有硬件上的同时测试热力学算法。

Extropic 还在开发 Z1,这是其计划的生产级热力学采样单元。Extropic 已列出 2026 年的早期访问,但尚未公布客户名称、定价、生产量或商业性能结果。

The 10,000x result remains a modeled comparison

对 Extropic 能效论点支持最有力的已发表证据来自一篇发表于 2026 年 npj Unconventional Computing 的论文,该论文由 Extropic 的研究人员与 MIT 教授 Isaac Chuang 共同署名。

研究人员描述了一种用于运行新型生成系统——称为去噪热力学模型(denoising thermodynamic model)的全晶体管概率架构。他们的分析发现,基于 Extropic 架构的未来设备在二值化的 Fashion-MNIST 图像基准上可以匹配基于 GPU 的模型,同时每个生成样本消耗的能量约少 10,000 倍。

这一数字结合了来自 Extropic 概率芯片的测量与电路模型和仿真。这是针对一个简单图像生成基准的估算,而非来自生产部署的实测或与前沿语言模型的比较。Extropic 仍需证明这一优势在更大芯片、制造差异、组件间通信以及足以支撑商业市场的复杂工作负载下依然成立。

算法是硬件策略的一部分。Extropic 的去噪热力学模型将生成过程分解为一系列更简单的能量基模型,允许概率电路执行重复的采样步骤。Extropic 实际上在联合设计适合其硬件的算法,而不是去适配主导当前 GPU 集群的 transformer 工作负载。

开发者可以通过 Extropic 的开源 Python 和 JAX 库 THRML 试验这种方法。THRML 在传统处理器上模拟热力学采样单元,为研究人员在生产级 Extropic 硬件可用之前构建和训练概率模型提供了途径。

Extropic still has to build a market around a new primitive

Extropic 正进入一个 Nvidia GPUs 和 Google TPUs 已拥有成熟编译器、大量开发工具和庞大安装基的市场。替代加速器常常面临困难,因为客户必须为不确定的收益重写软件,而且芯片生产需要漫长的开发周期和大量资本。

在某种意义上,Extropic 的道路更为艰难:其架构是为概率和能量基工作负载设计的,而不是作为对当今 transformer 模型的更快即插即用处理器。因此,商业采用取决于 Extropic 证明其硬件并说服开发者不同的模型架构可以提供有用的结果。

Extropic 还面临来自 Normal Computing 的直接竞争,后者已开发出用于概率计算的热力学硬件。其他努力则在追求光子处理器、计算内存芯片和类神经形态系统,以降低 AI 推理的成本。

Verdon 的赌注为 Extropic 在该领域提供了独特的位置。Extropic 正尝试用一种新的采样原语替代确定性计算,并围绕它构建模型、开发者工具和硅芯片。已发表的结果为这种方法建立了技术基础。Z1 以及其早期用户选择的工作负载将决定热力学计算能否超越研究硬件。

Reader comments

Conversation for this story loads after sign-in.