Composio's Kimi K3テストは、エージェントハーネス間で6倍のトークン差を明らかにした

Why it matters

Agent economics depend on orchestration as well as model pricing. A poorly matched harness can multiply token use while producing nearly the same completion rate.

Composio、Soham Ganatra (@GanatraSoham) と Karan Vaidya (@KaranVaidya6) によって設立されたAIエージェントインフラ企業は水曜日、Moonshot AIのKimi K3が同等の成功率で同じ一連のエージェントタスクを完了する際、Kimi Codeで消費したトークンのほぼ6倍をClaude Codeで消費したと発表した。

その同社が実施したテストでは、Kimi K3をClaude Code、Nous ResearchのHermes、Kimi Codeの3つのハーネスで28件の同一タスクに通した。Kimi Codeは22件を完了、Hermesは21件、Claude Codeは20件を完了した。完了数の差はわずかであったが、トークン消費量には大きな差があった：中央値のタスクでKimi Codeは61,000トークン、Hermesは67,000トークン、Claude Codeは340,000トークンを使用した。Composioはまた、個々のタスクではあるハーネスが別のハーネスに比べて最大30倍のトークンを消費することもあると報告している。 (x.com)

Composioによれば、Hermesは中央値の完了時間が最短で179秒だった。Kimi Codeは297秒、Claude Codeは348秒だった。これらの数値により、この小規模テストではHermesが速度面のリーダー、Kimi Codeがトークン効率のリーダーということになる。

この結果が重要なのは、開発者が通常エージェントモデルを比較するときに完了率やベンチマークスコアを用いるためだ。Composioのテストではモデル自体は一定に保ち、その周囲のソフトウェアを変えた：システムプロンプト、ツールループ、コンテキスト管理など、まとめてハーネスと呼ばれるオーケストレーションの選択である。この実行では、これらの選択が成功率の差よりも大きな経済的差異を生んだ。

Kimi はハーネスの互換性が重要だと警告

Moonshot自身のKimi K3 の技術ブログは重要な但し書きを提供している。K3は思考履歴を保持するように訓練されており、Moonshotはハーネスがその履歴を正しく返さない場合、性能が不安定になる可能性があると警告している。MoonshotはKimi Codeのような検証済みの互換ハーネスを推奨し、セッション中のモデル切り替えを控えるよう注意を促している。 (kimi.com)

そのため、Composioの結果はClaude Code全般に対する一般的な評決というより、モデルとハーネスの組み合わせに対するテストと言える。あるモデル群のコンテキストと推論挙動に最適化されたハーネスは、別のモデルで使うと大きなオーバーヘッドを課す可能性がある。Moonshot自身もK3のリリース資料におけるベンチマークでKimi Code、Claude Code、Codexなど異なるハーネスを使用している。

トークン差は依然として直接的なコストを伴う。MoonshotはK3のAPI入力をキャッシュミス時に100万トークンあたり$3、キャッシュヒット時に100万トークンあたり$0.30、出力は100万トークンあたり$15と価格設定している。実際の請求額は入出力の比率やキャッシングに依存するが、コンテキストを繰り返し再読み込みしたり不要なツールループのステップを踏むエージェントは、安価なモデルを選んだはずの節約を消してしまう可能性がある。 (kimi.com)

Composioの28タスクのサンプルは方向性を示すものであり、このベンチマークはオーケストレーション層に商業的利害を持つベンダーから出ている。Composioは認証、ツール実行、コンテキスト管理などを含む1,000以上のツールへのエージェント接続インフラを販売している。モデルを置き換える前にハーネスを点検すべきだという彼らの結論は、GanatraとVaidyaが構築している製品カテゴリを補強するものだ。 (composio.dev)

Composio はモデルの周辺レイヤーに賭けている

Ganatraのそのレイヤーへの関心は、現在のコーディングエージェント市場が形成される前から始まっていた。彼は2025年のインタビューで、詐欺・リスクのスタートアップBureauで創業期のエンジニア、のちにエンジニア兼プロダクトマネージャーとして働いている間にソフトウェア統合の維持コストに直面したと語った。彼はコード生成モデルの改善がその統合作業の一部を自動化できると結論し、2023年4月か5月頃にComposioを立ち上げるために退職した。 (pmf.show)

ComposioのCTOであるVaidyaは個人サイトにGoogleやRubrikでの経歴を記している。両創業者はともにIIT Bombayのコンピュータサイエンス課程を2017年に卒業していると同大学の同窓会事務局は伝えている。 (acr.iitbombay.org)

2025年7月22日、ComposioはLightspeed Venture Partnersが主導する2,500万ドルのシリーズAを発表し、報告された総調達額を2,900万ドルに引き上げた。このラウンドにはVercelのCEO Guillermo Rauch、HubSpot共同創業者Dharmesh Shah、SV Angel、Operator Partners、Elevation Capital、Together Fundが参加した。Composioは当時、自社プラットフォームが10万人以上の開発者と200以上のスタートアップおよび企業にサービスを提供していると述べている；これらの数値は引き続き同社の報告によるものだ。 (prnewswire.com)

Kimi K3は、その資金提供の背後にある賭けをComposioにタイムリーに示している。最先端モデルはますます、思考履歴、コンテキスト圧縮、ツールフォーマット、推論制御といった特定の要件を伴って登場している。ハーネスはそれらの要件が効率的な実行になるか、あるいは高コストなループになるかを決定する。Composioのテストはその実装リスクに数値を与えている：同様のタスク完了率でも、トークン使用量の中央値において6倍の差が隠れている可能性がある。