Modal 表示，NVIDIA 的 Vera CPU 在负载下使沙箱吞吐量翻倍

Modal 正在为其面向突发的沙箱集群测试一台 Arm 服务器，因为在该环境中 CPU 争用会使代理变慢并导致训练用 GPU 闲置。

By · Published · Updated

Primary source: Modal Newsroom

为何重要

Modal 正在测试 NVIDIA 的 Arm CPU 是否可以让它在每台主机上运行更多代理沙箱，同时保持任务延迟相近。如果该结果在生产环境中也成立，它可能提高资源利用率，并减少那些使代理变慢、让强化学习 GPU 等待的 CPU 瓶颈。

A Modal-branded test frame holds an open Arm server under load beside idle GPU accelerator cards.

Modal，其创始人兼首席执行官为 Erik Bernhardsson (@bernhardsson)，正在权衡 NVIDIA's Vera CPU 是否能够缓解一个由 AI 工作负载异常明显地暴露出的问题：运行代理的那台计算机会拖累系统的其余部分。在一篇 Modal 工程帖，发表于 10 月 19 日 中，Modal 表示，在高并发负载下，对 NVIDIA 的 Vera CPU 的早期测试显示，其任务吞吐量在某些情况下是等效 Intel Granite Rapids x86 机器的两倍，而单个任务的延迟保持相近或有时有所下降。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.