Nicholai Mitchko が Blackwell GPUs 向けの自己ホスト型 DeepSeek 潜在推論スタックを公開

Why it matters

Mitchko has made a latent-reasoning system available as weights plus runnable serving code, giving inference teams a concrete test of hidden-state computation. Its specialized vLLM path, heavy Blackwell memory requirement and unreplicated benchmark show how far the approach remains from routine deployment.

Nicholai Mitchko, InterSystemsのAIイネーブルメント担当ディレクター, has released a self-hosted latent-reasoning model built around DeepSeek-V4-Flash. The model performs intermediate computation in hidden states before generating a visible answer, but serving it requires Blackwell-class Nvidia hardware and Mitchko's specialized inference code.

Mitchko published DeepSeek-V4-Flash-0731-Latent-Reasoning around August 7, 2026. He describes the project as personal research rather than an InterSystems product. Public materials do not identify a separate company, outside funding, customers or production deployments tied to the release.

The project applies Compressed Latent Reasoning（CoLaR） to a 284 billion-parameter mixture-of-experts model with 13 billion active parameters. CoLaR was introduced by Wenhui Tan and five co-authors in the 2025 paper "Think Silently, Think Fast". The method represents intermediate reasoning as continuous states rather than a sequence of generated reasoning tokens.

専用のサービング経路

Mitchkoの以前のCoLaRリリースでは、推論用のコンポーネントがアダプタとして配布され、ユーザーはそれを別のDeepSeek-V4-Flashチェックポイントにアタッチする必要があった。その以前のセットアップでは、ベースモデル、推論ヘッド、停止メカニズム、およびカスタムランタイムを個別に組み立てる必要があった。新しいリリースでは、Mitchkoの構成に必要な重みを1つのモデルリポジトリにまとめているが、サービング経路はds4-reasoning-addonと別のvLLMフォークに分かれたままである。

その分割はリリースの周囲に明確な境界を設定する。推論チームはモデルとサポートコードをダウンロードできるが、それをそのまま通常のvLLMデプロイに移すことはできない。運用者はMitchkoのアドオンを実行し、彼のフォークした推論エンジンを維持する必要がある。

潜在推論コンポーネントは3570万パラメータを持つ。バックボーンのレイヤー35の隠れ状態を読み取り、その状態を1,024次元の表現に射影し、復元（residual）ストリームのレイヤー42にデコード結果を書き込む。チェックポイントは圧縮率を6と記録しており、学習された停止ヘッドが潜在ループの終了時を決定する。可視トークンの生成はその内部ループの後に始まる。

パッケージには推測的復号（speculative decoding）用の3層DSpark draftブロックも含まれる。精度設定はコンポーネントごとに異なる：ルーティングされたmixture-of-expertsの重みはグループサイズ16でNVFP4を使用し、アテンションモジュール、共有エキスパート、言語モデルヘッドおよびdraftブロックはより高い精度のままである。Mitchkoはチェックポイントが2 GPUでおおよそ158〜164 GiBを占めると見積もっている。

あるベンチマーク、二つの集計値

Mitchkoは27のサブタスクにまたがるBIG-Bench Hard評価を報告しており、各タスク50例、合計1,350例である。モデルカードは、lm-evaluation-harness 0.4.12 の flexible exact-match extractor を使用して集計スコア 0.880 +/- 0.008 を報告している。

彼の付随するリリース投稿はベンチマークセクションの冒頭近くで0.94 +/- 0.008も示しており、その後0.880を信頼できる集計として特定している。矛盾する数値は他のシステムとのクリーンな比較を妨げる。低い数値はモデルカードと投稿の後半の注記に一致するが、どちらも自己申告のままである。

サブタスクごとの結果は大きくばらつく。Mitchkoは shuffled-object tracking、Boolean expressions、formal fallacies、ベンチマークの penguins-in-a-table タスクで満点を報告している。一方、disambiguation questions ではスコアが0.58、Dyck languages（括弧一致テスト）では0.26に落ちると報告している。彼はDyckの結果を機械的で構文重視の推論における実際の弱点と位置づけている。

回答抽出は評価に実質的な影響を与える。BIG-Bench Hard のstrict matcherは文字通り "The answer is X." というフレーズを探す。Mitchkoのモデルはその出力フォーマットを使用していないため、代わりにベンチマークの柔軟な抽出器（flexible extractor）による結果を報告している。その方法はモデルの出力に適する可能性はあるが、比較や再現を試みる場合には固定されたままである必要がある。

評価はサブタスクごとにわずか50例しかカバーしておらず、Mitchkoは個々のタスクについて不確実性がおおむね +/- 0.05〜0.07 程度であると見積もっている。リリースには独立して再現された結果は含まれていない。モデルカードはまた、コーディング、長文コンテキスト処理、ツール使用、あるいは本番ワークロードに関する評価も公開していない。入手可能な証拠は、サービング構成が動作し、1つの推論ベンチマークでスコア可能であることを示しているにすぎず、明示的な推論トークンを生成するシステムに対する一般的な優位性を確立するものではない。

ハードウェアが最初の利用者を制限する

Mitchkoの実装はBlackwell世代のNvidiaハードウェアをターゲットにしている。彼の推奨構成は合計少なくとも192 GiBのVRAMを必要とし、彼が検証したセットアップは2基の96 GiB RTX PRO 6000 Blackwell GPU を使用している。

その要件は、対象となる利用者を最近のマルチGPUサーバーを持つ推論チームに狭める。公開された重みはプロジェクトの検査やテストの障壁を下げる一方で、メモリフットプリントとフォークされたサービングエンジンは、多くの個人開発者や標準的なホスト型デプロイには不向きにしている。

潜在推論は運用者が検査できる内容も変える。生成された推論テキストは不完全だったり誤解を招いたりする可能性があるが、デバッグや評価の際に開発者がレビューできるアーティファクトを提供する。Mitchkoのシステムは代わりに中間計算を1,024次元の状態として保持する。運用者は最終的な回答やベンチマーク結果を検査できるが、推論経路は従来のログやテキストベースの解析からはアクセスしにくい。

学習された停止ヘッドは、モデルが内部ループにとどまる時間を制御するため、別の運用上の依存関係を導入する。そのフェーズでの失敗は、レイテンシ、リソース使用、あるいは不良な最終回答としてのみ表面化する可能性がある。したがって、プロンプトやワークロード全体で停止動作をテストすることは、見出しになったベンチマークを再現することと同じくらい重要となる。

Mitchkoは経験のあるチームが自分たちのハードウェアでその命題をテストできるように、重みとサービングコードを提供している。独立した実行が、このアプローチが彼のBlackwell構成とBIG-Bench Hard評価を超えて通用するかどうかを決定するだろう。