Tokenless、生成途中に発生するLLMリクエストをルーティングして推論コストを削減

Why it matters

Inference routing is becoming a valuable control point in the AI stack. Tokenless is betting that partial model output can guide routing more accurately than prompt inspection alone, while its economics depend on making that decision fast enough to offset parallel inference costs.

Rohit Agarwal, Andrew Liu and Kevin W. are building Tokenless, an LLM router that starts each request on several models, watches their early work and keeps the model that appears most likely to finish successfully. Kevin W. publicly announced Tokenless on LinkedIn in July.

サンフランシスコの創業者たちはAIコストに関して明確な賭けをしている。開発者はリクエストの難易度がわかる前にしばしば最先端モデルの価格を支払ってしまう。Tokenlessはアプリケーションとモデルプロバイダーの間に入り、生成が始まった後にどのモデルを使うかを決めようとする。TokenlessはOpenAIおよびAnthropic互換のエンドポイントを公開しており、開発者はアプリケーションを新しいインターフェースに合わせて再構築する代わりに既存のAPI呼び出しをリダイレクトできる。

Agarwal brings the clearest research connection to that problem. He is a Princeton computer science PhD student advised by Elad Hazan who works on mathematics for AI, agent alignment and inference pipelines. Agarwal previously completed an electrical engineering and computer science degree at UC Berkeley, where Liu and Kevin W. also studied. His published work includes an inference pipeline that combines off-the-shelf models for competition mathematics, an academic version of the same underlying question Tokenless is commercializing: how to assemble available models into a system that performs better for a given cost.

Agarwalはその問題に対して最も明確な研究上のつながりを持っている。彼はElad Hazanの指導を受けるPrincetonのコンピュータサイエンス博士課程の学生で、AIのための数学、エージェント整合性、推論パイプラインに取り組んでいる。Agarwalは以前、LiuとKevin W.も在学していたUC Berkeleyで電気工学およびコンピュータサイエンスの学位を修了している。彼の公開研究には、競技数学向けに既製モデルを組み合わせる推論パイプラインが含まれており、これはTokenlessが商用化している同じ基礎的な問いの学術版である：利用可能なモデルをどのように組み合わせて、あるコストでより良い性能を発揮するシステムを構築するか。

In his LinkedIn post, Kevin W. said Tokenless would be part of Y Combinator's Summer 2026 batch. The Tokenless website separately describes Tokenless as backed by YC. YC says its standard terms commit $500,000 to each accepted company, split between $125,000 for 7% and $375,000 on an uncapped most-favored-nation safe.

Kevin W.はLinkedInの投稿で、TokenlessがY Combinatorの2026年サマーバッチに参加すると述べた。Tokenlessのウェブサイトでは別途、TokenlessがYCの支援を受けていると説明している。YCによれば同社の標準条件は、採択された各社に$500,000をコミットしており、$125,000は7%の対価として、残り$375,000は上限なしのmost-favored-nation safeで提供される。

Letting models begin before choosing one

ほとんどのLLMルーターはプロンプトを検査し、その難易度を推定してから、生成が始まる前にモデルへ送る。例えばオープンソースのRouteLLM frameworkは、LLMルーターを提供・評価するためのコストと品質のルーティングフレームワークだ。

Tokenlessは判断を後に行うと主張する。Tokenlessはリクエストを複数のモデルに扇状に送信し、それらの部分的な応答や推論の痕跡を観察して、順調に進んでいるように見えるモデルを選択し、残りをキャンセルする。Tokenlessはこの手法をautomatic model switchingと呼んでいるが、その仕組みはモデル間の短いスペキュレーティブな競争に似ている。

その差異によって、創業者たちはプロンプトのみで動くルーターが持たない情報にアクセスできるようになる。開始時点では似て見える2つのリクエストが、モデルが実際に試行すると分岐することがある。弱いモデルがあるタスクでは素早く実行可能な方針を見つけ、別のタスクでは停滞することがある。Tokenlessは高コストの実行を停止する余地があるうちにその違いを検出することを目指している。

経済性はTokenlessがどれだけ速く選択できるかに依存する。並列での各試行は推論リソースを消費する。たとえTokenlessが破棄した作業のコストを顧客の請求に通さない場合でもだ。より安いモデルを選ぶことで得られる節約は、キャンセルされた試行のコスト、ルーティングインフラ、そして追加のレイテンシをカバーしなければならない。Tokenlessはまたリクエスト経路上の別のシステムになるため、障害やプロバイダーの変更、誤った選択が本番アプリケーションに影響を与える可能性がある。

これらのトレードオフがあるため、互換性レイヤーが重要になる。開発者はアカウントを作成して、統合作業を最小限にしてTokenlessをテストし、節約が別の依存関係を正当化するかどうかを判断できる。

The benchmark claims are moving with the models

Tokenless's homepage says its router can maintain frontier-level quality while cutting inference bills in half. Tokenless reports that a configuration called PRO solved 72% of TerminalBench 2.1 tasks at $0.32 per task, the same solve rate it listed for Opus 4.8 at $2.41 per task. On LiveCodeBench, Tokenless reported an 89% solve rate for PRO, compared with 88.9% for Opus 4.8.

Tokenlessのホームページは、同社のルーターがフロンティアレベルの品質を維持しながら推論費用を半減できると述べている。Tokenlessは、PROという構成がTerminalBench 2.1のタスクの72%を1タスクあたり$0.32で解決したと報告しており、これはOpus 4.8が1タスクあたり$2.41で示した同じ解決率と同等だとする。LiveCodeBenchでは、TokenlessはPROの解決率を89%と報告しており、Opus 4.8の88.9%と比較している。

Those are Tokenless's own benchmark results. Tokenless has also displayed a different comparison spanning tau3-Banking, Terminal-Bench 2.1 and DeepSWE 1.1, with newer model labels and an average 40.2% solve rate for Tokenless Pro. The changing tables show how quickly a routing product's reference set can age as providers release models and adjust prices.

それらはTokenless自身によるベンチマーク結果だ。Tokenlessはまた、tau3-Banking、Terminal-Bench 2.1、DeepSWE 1.1を跨ぐ別の比較も示しており、新しいモデルラベルを用いた場合にTokenless Proの平均解決率が40.2%になっている。変動する表は、プロバイダーがモデルをリリースし価格を調整するにつれて、ルーティング製品の参照セットがいかに速く陳腐化するかを示している。

Public coding and agent benchmarks provide a controlled comparison, but customer traffic will determine whether the pitch holds. Prompt distributions, cache hit rates, response lengths, latency limits and retry behavior can move the bill substantially. A router trained around coding agents may also behave differently on support, extraction or conversational workloads.

公開のコーディングやエージェントのベンチマークは制御された比較を提供するが、実際にその主張が成り立つかは顧客トラフィックが決める。プロンプトの分布、キャッシュヒット率、応答長、レイテンシ制限、再試行動作は請求額に大きく影響する可能性がある。コーディングエージェント向けにチューニングされたルーターは、サポート、抽出、会話型ワークロードでは異なる挙動を示すかもしれない。

Tokenless's calculator illustrates the sales argument with a hypothetical customer spending $40,000 per month on LLMs. Under editable routing assumptions, Tokenless estimates a $26,000 bill, a 34% blended savings rate and 42% of requests rerouted. Tokenless explicitly says the result depends on the customer's traffic and published model prices.

Tokenlessの計算ツールは、仮想的に毎月$40,000をLLMに支払っている顧客を例に取り、営業上の主張を示している。編集可能なルーティング前提の下で、Tokenlessは請求額を$26,000、ブレンドされた節約率を34%、リルーティングされるリクエストを42%と見積もっている。Tokenlessはその結果が顧客のトラフィックや公表されたモデル価格に依存することを明確に述べている。

A valuable position between applications and model providers

Tokenless is entering a model-routing market that has already drawn large infrastructure investments. OpenRouter announced a $113 million Series B on May 28 after expanding from model access into quality-aware routing, failover and enterprise controls. Portkey raised a $15 million Series A on February 19 for its AI gateway and control plane, before Palo Alto Networks completed its acquisition of Portkey on May 29.

Tokenlessはすでに大規模なインフラ投資を集めつつあるモデルルーティング市場に参入しようとしている。OpenRouterは5月28日に$1.13億のシリーズBを発表し、モデルアクセスから品質認識ルーティング、フェイルオーバー、エンタープライズコントロールへと拡張した。Portkeyは2月19日に$1,500万のシリーズAを調達し、そのAIゲートウェイとコントロールプレーンのために資金を得て、5月29日にはPalo Alto NetworksがPortkeyの買収を完了した。

誘因は明快だ。ルーティングレイヤーはアプリケーションがどのモデルを使っているか、各リクエストにいくらかかっているか、どこで失敗が起きているかを把握する。そこから可観測性、予算管理、セキュリティポリシー、フォールバック、調達へと役割を拡大できる。Tokenlessはまず、モデルの動作を見てから選ぶというより狭い約束から始めている。

Tokenless also uses Ramp's AI Index in its calculator, applying an 11.0% monthly AI-spend trend for June 2025 to June 2026 to illustrate how unmanaged model costs can compound. The exact savings case will depend on workload mix, provider prices and how quickly Tokenless can stop losing runs.

Tokenlessはまた計算ツールでRamp's AI Indexを用い、2025年6月から2026年6月の間のAI支出の月次トレンドを11.0%と仮定して、管理されていないモデルコストがどのように累積するかを示している。正確な節約効果は、ワークロードの構成、プロバイダーの価格、そしてTokenlessがどれだけ速く無駄な実行を止められるかに依存する。

That gives Tokenless a defined initial customer: developers running enough agent traffic for small routing improvements to produce material savings. Agarwal, Liu and Kevin W. now have to prove that observing a model's first steps yields a dependable signal before the parallel race consumes the money it was designed to save.

これによりTokenlessには明確な初期顧客像が生まれる：ルーティングの小さな改善で実質的な節約が生まれるだけのエージェントトラフィックを運用している開発者たちだ。Agarwal、Liu、そしてKevin W.は、並列レースが意図した節約を食いつぶす前に、モデルの最初のステップを観察することで信頼できるシグナルが得られることを証明しなければならない。