STROT は LLM の指示をローカルで実行される意思決定ワークフローにコンパイルする
Amit Rathのオープンソースプロジェクトは、セットアップ段階に大規模モデルを配置し、運用時には小さなローカルモデルを稼働させますが、そのPac-Manデモはその分割の限界を示しています。
By RuntimeWire Staff · Published · Updated
Primary source: GitHub
なぜ重要なのか
STROTは大規模モデルをワークフロー設定に配置し、繰り返される意思決定をローカルに保持することで、範囲が限定されたタスクのコストとレイテンシを削減できる可能性がある。STROT自身のデモはまた、コンパイルとゴールデンテストが実際に変化するデータでの評価に取って代われない理由を示している。
Amit RathのSTROTは、大規模言語モデルを使って開発者の指示をPythonのアーティファクトに変換し、その後ローカルハードウェア上の小型モデルでルーチンの分類やルーティングの判断を実行する。RathはPyPI上でプロジェクトの著者兼メンテイナーとして記載されており、このアイデアを2025年の研究フレームワークから、開発者がインストールして試せるオープンソースツールへと移行させた。GitHubリポジトリは10月19日にPac-Manデモの更新を受け、どこでこのアプローチが機能するか・しないかを試した。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.