llm-d 1.0が分散AI推論の本番運用向け制御を追加
IBMは、CNCFのガバナンス下にあるプロジェクトが、Carlos CostaのAIサービングのクラウドネイティブ化の推進を踏まえて、マルチテナントのサービス品質、フェイルオーバー、およびローリングアップグレードをサポートするようになったと述べている。
By RuntimeWire Staff · Published
Primary source: IBM Newsroom
なぜ重要なのか
推論インフラストラクチャは、組織が大規模にAIサービスを信頼性高くかつ費用対効果よく運用できるかどうかを決定します。 llm-dの1.0リリースは、成功したデモと信頼できるサービスの間にある本番運用を対象としていますが、そのコストとスループットに関する主張は特定の企業が報告したテストに依存したままです。
Carlos Costa は、大規模スーパーコンピュータでの作業に何年も従事した後、AIモデルを大規模に提供する課題にクラウドネイティブ手法を導入するために llm-d の作成に関わりました。10月20日、プロジェクトは1.0リリースに到達し、デプロイ後に分散推論を実行するための運用制御を追加しました。これにはマルチテナントのトラフィック優先度、ルーターのフェイルオーバー、ローリングアップグレードが含まれます。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.