J-Spaceは、自社のテキストハーネスによってDeepSeek V4 ProがFable 5を上回ったと述べている。

Why it matters

J-Space's results suggest agent performance depends heavily on orchestration, but single-run, mixed-method scores cannot support claims that DeepSeek beat Fable everywhere.

オープンソース開発者の Tiger380 は、テキストベースの制御レイヤーが DeepSeek V4 Pro の推論およびエージェントタスクにおける性能を実質的に向上させると主張するベンチマークレポートを公開した。この発見は、Jun Song (@jun_song) が Xのスレッド でこのハーネスが「すべてのタスクでFableを完全に上回る」と書いたことで、8月17日に注目を集めた。

基になっているDeepSeek V4 and J-Space report はより限定的な結論を支持している。結果は DeepSeek V4-Pro-0813 が J-Space と組み合わせるとテストした9つのベンチマークすべてで改善を示すことを示しているが、Anthropic の Fable 5 をすべてのタスクで上回ることを示すものではない。テストは単一実行であり、クロスモデルの比較は異なる評価方法で公開されたスコアを組み合わせたものである。

Tiger380 の J-Space Cognition Suite V3.6 はモデルの重みを変更したり DeepSeek をファインチューニングしたりしない。長時間のジョブ中に目標や制約を有効に保つことを目的とした推論時レイヤーとして、指示、タスクルーティングルール、および任意の Python 状態コントローラをパッケージ化している。

スイートは作業を fast、full、loop モードに振り分ける。より長いタスクでは、目標、アクティブな事実、検証済みの所見、未解決の質問、次のアクションをカバーする台帳を維持する。また、モデルに進捗をチェックポイントさせ、診断をリトライに引き継がせ、テストが実際にタスクのどの程度をカバーしているかを検証するよう指示する。リポジトリには任意のコントローラと並んで、選択的に読み込まれる9つのプロトコルモジュールが含まれている。

それを「単純なハーネス」と呼ぶのは、テスト対象の実態を過小評価している。J-Space は状態管理、検証ルール、回復動作を備えた構造化されたエージェント運用プロトコルである。その中心的な仮説は、いくつかのモデル失敗は基礎的な推論能力の欠如よりも、ツール呼び出しやコンテキスト変更をまたいでジョブの進行を見失うことから生じるという点にある。

DeepSeekの改善は大きい

レポートは、公式の DeepSeek Harness の最小構成にある DeepSeek V4-Pro-0813 と、同じセットアップに J-Space を加えた場合を比較している。報告によれば、ツール有効時の Humanity's Last Exam ではスコアが 60.0 から 67.7 に、Terminal Bench 2.1 では 87.9 から 90.1 に、NL2Repo では 61.5 から 73.4 に上昇したという。

Reported DeepSWE のスコアは 62.7 から 72.0 に上がった。CyberGym は 83.3 から 86.8 に、Toolathlon-Verified は 74.1 から 79.5 に増加した。Agents' Last Exam と AutomationBench でも小さいながらも正の改善が見られた。ツールなしの Humanity's Last Exam では、J-Space により報告スコアが 42.7 から 48.0 に上昇した。

これらの結果は、同一モデル間の比較がレポートで最も説得力のある部分であることを示している。Tiger380 によれば、ベースモデル、タスク、ツール条件、採点ルールは一定に保たれ、動作プロトコルが実験変数として機能したという。

それでも方法論にはかなりの不確実性が残る。各結果は繰り返し試行の平均ではなく単一実行を表しており、レポートは信頼区間を提供していない。また、DeepSeek の API は思考モード（thinking mode）で送信された temperature や top_p の値を無視する可能性があると記している。したがって小さな差は実行間変動を反映している可能性があり、より大きな増分については安定していると判断する前に独立した再現が必要である。

Fableに関する主張は表を経ると耐えられない

Tiger380 自身の比較では、ツールなしの Humanity's Last Exam で Fable 5 が優位で、J-Space を用いた DeepSeek V4-Pro-0813 の 48.0 に対し 53.3 を記録している。GLM-5.3 も AutomationBench で 48.2 とリードしており、J-Space の 38.2 と比べている。NL2Repo については Fable の結果は記載されていない。

レポートは J-Space 構成が参照列で7つのベンチマークをリードしていると記述しており、これは「すべてのタスクで Fable を上回る」という主張とは実質的に異なる。著者はまた、比較対象のスコアは各モデルベンダーが公開した評価方法を維持している点に注意を促している。Fable、GLM、Kimi、Opus は J-Space の一元化された評価内で再実行されたものではない。

そのためクロスモデルの表は統制された一対一のテストというより参照点の集まりである。DeepSeek の報告スコアが公開結果の中でどこに位置するかを示すことはできるが、同一条件下で J-Space が Fable を打倒したことを確定することはできない。

J-Spaceは研究用語を別のレイヤーに借用している

プロジェクト名は、概念として報告可能で意図的に保持され推論に使用されうる内部モデル表現の集合を説明した、Anthropic の7月6日の研究に由来する。Anthropic はこれらのニューラル活性化を Jacobian lens と呼ばれる手法で研究した。

Tiger380 のスイートはそれらの隠れた活性化を検査したり編集したりするものではない。Anthropic の知見を、エージェントがワーキングセットを維持し多段階計算を調整する方法に対するインスピレーションとして用い、テキスト指示と外部の状態管理機構を適用している。スイート自体も、テキスト指示がすべての隠れ活性化を直接露呈させると主張してはいないと明記している。

この区別は重要である。なぜならベンチマークでの改善が再現されれば、それはモデル内部の J-space を直接制御したことではなく、推論時のオーケストレーションを改善したことの価値を示すからだ。DeepSeek の公式 V4 Pro モデルカード は、総パラメータ数1.6兆、活性化されたパラメータ490億、100万トークンのコンテキストウィンドウを持つ mixture-of-experts モデルであると記述している。その規模のモデルでも、エージェントラッパーがツール、コンテキスト、検証を誤扱いすると挙動が不均一になりうる。

J-Space のレポートは、ラッパーが結果を大きく変えうるという証拠を提示している。しかし、それが DeepSeek V4 Pro が Fable 5 を上回ることを証明するには至っておらず、ましてやあらゆるタスクで上回ることを証明しているわけではない。より防御可能で有用な発見はむしろこうした点である：ハーネスが変わるとモデルのランキングは動きうる、つまりリーダーボードにモデル名のみが表示されていても、エージェント構築者は実際には結合システムをベンチマークしている、ということだ。