Neuralwattは、キャッシュミスが推論エネルギーを最大140%多く消費する可能性があると述べている。
CEO Chad Gibsonの分析は、Neuralwatt Cloudのトラフィックをプロンプト編集が浪費されたGPU作業に結びつけており、最大のコストは長時間のエージェントセッションにあると指摘している。
By Ryan Merket · Published · Updated
Primary source: Neuralwatt
なぜ重要なのか
Neuralwattのトラフィック分析により、エージェントはモデルやGPUに加えて効率という変数を活用するようになります。調査結果が他の導入環境でも当てはまるなら、プロンプトの構成はチームに対して、特に長時間稼働するエージェントにおいて、繰り返し行われる推論作業をソフトウェアレベルで削減する手段を提供します。
Neuralwatt CEO Chad Gibson は、AIモデルにプロンプトを送るソフトウェアが、リクエストの処理に必要なエネルギーをほぼ倍にする可能性があると述べています。10月16日に公開された分析で、Neuralwattはエージェントクライアント間のプロンプトキャッシュ再利用を比較し、プロンプトの組み立て方の小さな違いが大幅な追加プレフィル処理に繋がることを発見しました。
モデルアーキテクチャやGPUの選択が注目を集めますが、ハーネス — 各リクエストを構築するエージェント、SDK、エディタ統合、あるいはカスタムアプリ — も、サーバがどれだけ長い会話を再処理しなければならないかを決定します。Gibsonは、ソフトウェアの変更によって新しいモデルやハードウェア更新を必要とせずに計算を節約できると主張しています。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.