Together AIの研究者ら、推論をテキスト外へ移すエージェントを公開
チームは11のベンチマークでトークン使用量が減少し推論が高速化したと報告しているが、コスト削減はプロンプト処理やツール呼び出しを除外した推定値のままである。
By Ryan Merket · Published · Updated
Primary source: arXiv
なぜ重要なのか
HybridAgentは、エージェントがトークン単位のテキスト生成から一部の推論を切り出してもツールへのアクセスを維持できるかどうかをテストする。コスト見積もりはプロンプト処理や外部ツールを除外しているため、本番運用における経済性を示すものではない。
Together AIの研究者たちは、Jiaru Zouが率いるチームでHybridAgentを発表しました。HybridAgentは、言語モデルエージェントが連続潜在空間で推論し、ツールを使ったり回答を出したりする必要があるときにテキストへ戻ることを可能にするシステムです。10月13日にarXivに提出された論文で、著者らは11のベンチマークにわたってテストしたベースラインよりもテキストトークンが少なく、推論が速いと報告しています。これらの結果は著者自身のものであり、独立した実稼働評価ではありません。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.