Depthfirstが企業向け脆弱性検出のために、RLで訓練されたdfs-large1を発表

Why it matters

Depthfirst is spending venture-scale capital to own the security model beneath its product. Its internal benchmark suggests progress, but reproducible testing will determine whether the advantage holds.

Andrea Michi (@andreamichi), Depthfirstの共同創業者兼CTOである彼は7月30日にdfs-large1を発表し、大規模な企業コードリポジトリ全体の脆弱性を探す顧客向けに強化学習で訓練されたモデルをプレビュー提供しました。

サンフランシスコのAIセキュリティ開発者はGLM 5.2上にdfs-large1を構築し、その後Depthfirstのsecurity-agentハーネス内でFireworks AIのトレーニングと推論支援を受けてポストトレーニングを行いました。Depthfirstは新モデルが同社で最も能力の高いリリースであり、largeリポジトリの脆弱性に基づく内部評価であるdepthfirst-bench上で、汎用モデル群を上回ったと述べています。 (depthfirst.com)

その性能主張には明確な制約があります：Depthfirstは外部の者がベンチマークを再現するのに十分な情報を公開していません。同社の報告は、将来の投稿でベンチマークの構成と方法論をより詳細に説明すると述べています。会社は、合格した全ての軌跡を手動でレビューし、ベンチマーク用エージェントをインターネット接続および脆弱性修正を含む将来のコミットから遮断したと述べています。

Michiは以前Google DeepMindでリサーチエンジニアリングを率い、Geminiの強化学習に取り組み、強化学習を用いてより高速なソートアルゴリズムを発見したAlphaDev projectの共著者でもあります。Depthfirstの他の共同創業者はインフラとセキュリティの経験を持ちます：Qasim MithaniはAWSで開発者およびセキュリティ製品を構築した後、Databricksでインフラとエンタープライズプラットフォームの業務を率い、Daniele PeritoはCash Appでのセキュリティと不正防止に取り組んだ後にFaireを共同創業しました。 (depthfirst.com)

その組み合わせがDepthfirstの中心的な技術的賭けを説明します。汎用モデルはコードを検査できますが、Depthfirstは潜在的な脆弱性を見つけ、攻撃者が制御するデータがそれに到達するかを追跡し、その欠陥が実在することを示す実行可能な証拠を生成する、より狭い作業に特化したモデルを訓練しています。

バグを証明するエージェントを訓練する

Depthfirstの本番用ハーネスは大規模リポジトリをより小さな監査スコープに分割し、各エージェントに定義されたファイル群と脅威モデルを割り当てます。エージェントは、到達可能性や悪用可能性を確立するためにより広いコンテキストが必要な場合、共有ライブラリ、依存関係、関連リポジトリを参照することができます。

dfs-large1はアプリケーションコードの脆弱性検出、より低レイヤのシステムコードの脆弱性検出、候補発見の検証を組み合わせて共同で訓練されました。Depthfirstはまた、過度なツール使用や推測的なレポートに対してモデルをペナルティ化しました。これは、自動化セキュリティ解析でコストがかかる二つの失敗モード、すなわち無限に調査を続けるエージェントと、もっともらしく見える誤検知でエンジニアを圧倒するスキャナを抑制する試みです。

Depthfirstによれば、後のトレーニングチェックポイントでは特定の仮説をより多くテストし、リポジトリを広範に検索する代わりに実行可能なハーネスを使用したといいます。同社は、dfs-large1がコードの複数箇所にわたる欠陥をたどった後にAddressSanitizer下でメモリ安全性の失敗を再現した事例を提示しました。

モデルの報告された結果は依然としてベンダー実施のテストとして読むべきです。depthfirst-benchはスコアを推定タスク価格と比較したうえでdfs-large1をおよそ68%に位置づけ、同等のコストで評価された他のシステムを上回りました。Depthfirstは評価時にアクセスがなかったため、サイバーセキュリティ特化型の二つのモデル、MythosとGPT-5.6 Cyberを除外しました。 (depthfirst.com)

Depthfirstは、以前のモデルチェックポイントが34のRubyプロジェクトで合計105件の脆弱性を検証する研究キャンペーンも支援したと述べており、そのうち約61%がメモリ安全性の問題に関係していました。新リリースは同社のより広範な商用ワークフロー向けを意図しており、顧客は脆弱性の発見、検証、提案修正のためにリポジトリをDepthfirst platformに接続します。 (depthfirst.com)

多額の資金を得た専門特化型モデルへの賭け

Depthfirstは2024年10月の創業以来1億2000万ドルを調達しています。Accelは1月に発表された4000万ドルのSeries Aを主導し、SV Angel、Mantis VC、Alt Capitalが参加しました。Meritech Capitalは3月31日に発表された8000万ドルのSeries Bを主導し、Forerunner Ventures、The House Fundおよび既存投資家（Accel、BoxGroup、Liquid 2 Ventures、Alt Capital、Mantis VC を含む）が参加しました。 (techcrunch.com)

Series Bはdfs-mini1と同時に発表されました。dfs-mini1は当初スマートコントラクトの脆弱性に焦点を当てたドメイン特化型の初期モデルでした。4か月後、dfs-large1はアプローチを企業リポジトリにおけるアプリケーションおよびシステムコードへと拡張しました。この進展は、セキュリティワークフローに包まれた汎用モデルではなく、モデル訓練自体をDepthfirstの製品戦略の中心に据えていることを示しています。

Depthfirstは顧客にAngelList、Lovable、Persona、Moveworksなどを挙げています。Accelは1月に、同社のエージェントが従来の静的解析ツールよりも真陽性の脆弱性を8倍多く発見し、誤検知を85%削減したと述べましたが、これらの数値は投資に関連して提供されたもので独立した監査は行われていません。dfs-large1はDepthfirstにこれら商業的主張の新たな技術的根拠を与えますが、採用は顧客リポジトリ内でのパフォーマンス、すなわち誤検知、監査コスト、再現可能なエクスプロイトまでの時間が結果をエンジニアに渡すかどうかを決定するでしょう。 (accel.com)