Inco AIがDFlash 2をリリース、受け入れられるトークン列が21%長いと報告

Why it matters

Agent workloads multiply token demand and serving costs. If Inco AI's gains hold across production stacks, DFlash 2 can reduce target-model passes without changing model output.

Zhijian LiuはUC San Diegoに所属する学術著者で、並列的な speculative-decoding 手法である DFlash の背後にいる人物であり、Inco AI が8月18日に更新版をリリースした。DFlash 2 は、高コストな LLM 検証パスごとにより多くの受理トークンを得ることを目的とした2つの小さなコンポーネントを追加している。

Inco AIは報告しているところによると、従来の DFlash に比べ平均受理長が21%増加した。公開された Qwen ベンチマークは、GSM8K 上での5層 Qwen3-4B DFlash モデルを使用している。報告された利得に寄与したパスセレクタと畳み込みは、Inco AI のテストでドラフト-検証サイクルのレイテンシに1.3%を追加した。Inco AI は、より大きなターゲットモデルが提案されたすべてのトークンを引き続き検証するため、最終出力は変わらないと述べている。

DFlash の論文は Liu を、UC San Diego に所属する著者 Jian Chen と Yesheng Liang とともに名を挙げている。論文は2月に arXiv に投稿された。彼らの中心的な手法はドラフティング段階を並列化することで、小さなモデルによるトークンごとの推測を一度のパスで生成されるブロック全体の提案に置き換えた点にある。

Inco AI は DFlash アプローチを中心に最初のパブリック製品を構築している。Inco AI は DFlash 2 を、単一のタスクが数時間にわたって実行され、従来のチャットセッションより遥かに多くのトークンを生成する可能性があるエージェントワークロード向けに構築されたエンドツーエンド推論スタックの最初のピースと説明している。

並列ドラフトは自分の予測を読むことを学ぶ

Speculative decoding は、より小さなモデルがいくつかの将来トークンを提案し、それらをまとめてより大きなターゲットモデルにチェックさせる手法である。受理された予測はフォワードパスを節約する。拒否された予測は破棄され、ターゲットモデルの出力は保持される。

ほとんどの speculative-decoding システムは依然としてドラフトを逐次的に生成する。DFlash はすべての位置を並列に提案することでそのドラフティングループを排除するが、別の問題を生む：独立してもっともらしいトークン同士が隣り合うと、並べたときに不自然な列になる可能性がある。

DFlash 2 はパスセレクタを追加し、各位置で上位16候補を保持し、隣接するトークンペアにスコアを付け、事前に計算されたそれらのスコアを辿って一貫した列を選ぶ。Inco AIはこのセレクタが200万パラメータとサイクルレイテンシ0.6%を追加すると述べている。Inco AI の Qwen3-4B テストでは、セレクタは DSpark の補正モジュールよりも長い受理されたドラフトを生成しながら、約40倍少ないパラメータを使用した。

第二の追加は Inco AI が suffix decay と呼ぶ現象を狙っている。元のドラフタは提案ブロックの末尾近くで精度が低下し、検証を通過するトークン数が減る。DFlash 2 は各 attention と feed-forward サブレイヤの周りにローカルな2タップ畳み込みを挿入し、並列計算を維持しながら各位置が直前の位置と情報を混ぜられるようにした。

Inco AIはその畳み込みが1650万パラメータを追加し、5層ドラフタの約3%に相当し、サイクルレイテンシを0.7%増やすと述べている。Inco AI の実験では、この小さな局所演算によって、ドラフタを5層から15層に三倍化して得られるブロック末尾の精度の大部分が回復した。後者の拡張は15.2%のレイテンシコストを伴った。

Inco AIのベンチマークスイート全体では、セレクタと畳み込みにより平均受理長が DFlash 比で21%改善され、個別の利得は16%から25%の範囲だった。追加されたドラフト-検証サイクルのレイテンシは1.3%だった。

これらは Inco AI のベンチマークであり、見出しとなるスループット数値はモデル、タスク、サンプリング設定、ハードウェア、並列度に依存する。新たに公開された Qwen3.8-27B drafter については、Inco AIは報告しているところによると、SGLang でバッチサイズ1の場合に自己回帰デコーディングの2.7倍〜3.4倍のスループットを実現した。Inco AI のテストでは、その Muse Glimmer drafter が3.1倍〜4.6倍のスループットを示した。

統合が販売を後押ししている

元のオープンソース DFlash リポジトリは SGLang、vLLM、TensorRT-LLM、llama.cpp でサポートされている。DFlash 2 のリリースには SGLang、vLLM、llama.cpp の設定と、Apple Silicon 向けの oMLX ビルド が含まれている。

独立系ハードウェアベンダーも初期の DFlash をテストしている。NVIDIAは報告したところによると、8GPU の Blackwell システムで同等のインタラクティビティ目標に対して gpt-oss-120b のスループットが最大15倍になった。Googleは報告したところによると、TPU v5p 上のスタンドアロン JAX DFlash ベンチマークで平均3.13倍の高速化を達成した。その vLLM TPU パイプライン比較では自己回帰デコーディングに対してエンドツーエンドで2.29倍の高速化を示した。これらの結果は異なるアクセラレータ上で元のアーキテクチャを検証するものであり、DFlash 2 の新しい21%の受理長増加という主張を独立に裏付けるものではない。

CoreWeave はデフォルトでその Kimi K2.7 Code エンドポイントに DFlash を使用しており、Inco AI は NVIDIA、Red Hat、Modal、Meta、Poolside、Xiaomi が互換性のあるドラフタを公開または出荷していると述べている。Inco AI はまた、DFlash モデルの Hugging Face 上でのダウンロード数が2026年8月までに350万件を超えたと報告している。

DFlash は開発者が既に使用している推論エンジンやモデルリポジトリを通じて配布されており、Inco AI に既存のサービングスタックへの入り口を提供している。Inco AI はこの手法を中心により広範な推論製品を構築している。

タイミングはワークロードに沿っている。プランを立て、ツールを呼び出し、出力を修正するエージェントは、応答性の特徴ではなく運用コストとして推論効率を位置づける。受理されるトークンが1つ増えるごとに、タスク完了に必要な完全なターゲットモデルのパス数が減る。DFlash 2 はターゲットモデルの検証ステップを維持しつつ並列ドラフタを改善することで、そのコストを下げようとしている。