Modalによると、NVIDIAのVera CPUは負荷下でサンドボックスのスループットを2倍にする
Modalは、CPUの競合によりエージェントが遅くなり、トレーニング用GPUがアイドル状態になる可能性があるバースト指向のサンドボックス・フリート向けにArmサーバーをテストしている。
By Ryan Merket · Published · Updated
Primary source: Modal Newsroom
なぜ重要なのか
Modalは、NVIDIAのArm CPUが、タスクのレイテンシを同程度に保ちながらホストあたりでより多くのエージェントサンドボックスを実行できるかどうかをテストしている。本番環境でも結果が維持されれば、利用率を改善し、エージェントを遅くして強化学習用GPUを待たせるCPUのボトルネックを削減できる可能性がある。
Modal、創業者兼CEOが Erik Bernhardsson (@bernhardsson) である同社は、NVIDIA's Vera CPU がAIワークロードによって異常に可視化される問題、つまりエージェントを実行しているコンピュータがシステムの残りを足止めしてしまうという問題を緩和できるかどうかを検討している。Modalのエンジニアリング投稿（10月19日公開） によれば、Modalは NVIDIA's Vera CPU の初期テストで、重い同時負荷下において Intel Granite Rapids x86 マシンのタスクスループットを最大で2倍に達することがあり、個々のタスクのレイテンシは同等か場合によっては短縮されたと報告している。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.