HarkがOnline-Mind2Webを上回った後、Handoffブラウザエージェントをプレビュー

Brett Adcockの自己資金で運営するAIラボは以前のベンチマークリーダーを0.4ポイント上回ったが、より広範な性能に関する主張はHarkが実施したテストに依存している。

By · Published

Primary source: X

Why it matters

Handoff turns Brett Adcock's personal-AI plan into a testable software product before Hark ships hardware, but its verified advantage is a narrow 0.4-point benchmark lead.

An abstract representation of an AI agent dynamically interacting with web interfaces (flat modernist vector illustration with textured overprint)

Brett Adcock (@adcock_brett) は8月5日に Hark Handoff を発表し、食べ物の注文、旅行の手配、買い物、その他オープンなウェブ上でのタスクを完了するよう設計されたブラウザエージェントを用いて、彼の2つ目の大きなAIベンチャーをリサーチプレビューに移した。

Handoffは、AdcockがFigureの経営を続けながら立ち上げたパーソナルAIラボであるHarkからの最初の具体的な製品だ。イリノイ州中部の農場で育ったAdcockは、以前に採用マーケットプレイスのVetteryを構築し、電動航空機開発のArcher Aviationを共同創業した後、ヒューマノイドロボティクスに移った。Harkは同じフルスタックアプローチをコンシューマ向けAIにも拡張しており、モデル、ソフトウェア、そして最終的には用途別のハードウェアを目指している。

Harkによれば、Handoffは各リクエストごとにブラウザ、ファイルシステム、端末を含む専用の仮想コンピュータを作成する。エージェントは個々のサービスとの統合に依存するのではなく、カーソルとキーボードを操作することで、消費者向けAPIのないウェブサイト全体で動作できるようにしている。Harkのデモには、DoorDashでの注文、Targetでの買い物、OpenTable経由のレストラン予約、LinkedIn上で候補者へのメッセージ送信、航空券の予約などが含まれる。

ユーザーは既存アカウントを接続でき、Handoffは保存された住所、好み、購入履歴にアクセスできる。その設計は信頼性とアカウントセキュリティを製品の中心要件に置く。単に航空券を探せるだけのブラウザエージェントと、ログインして旅程を選び購入を完了するほど信頼されるエージェントは本質的に異なる。

A verified lead, with limits

Handoffは、人間評価による Online-Mind2Web ベンチマークで97.7%を獲得したと 公式リーダーボード によると報告されている。このテストは136の稼働中ウェブサイトにまたがる300のタスクをカバーしている。Handoffは8月4日付の評価で、簡単と分類されたタスクで100%、中程度のタスクで95%、難しいタスクで100%を記録した。

その結果は、6月に97.3%を記録したYutoriのNavigator n1.5をわずかに上回り、92.7%を記録したGPT-5.4搭載のACT-2システムも上回った。Careerflow.aiがこれら3件の人間評価を実施した。

リーダーボードはHarkの主張、すなわちHandoffが現在Online-Mind2Webで検証されたトップスコアを保持しているという点を支持する。ただし、それがHandoffをあらゆるテストや本番設定におけるインターネット利用モデルの「最良」と確定するものではない。Harkのより広い「史上最高」という表現は、独立した結果の範囲を超えている。

Harkはまた、WebTailBench v2と内部評価の結果も公表した。HandoffはWebTailBenchで68.6を記録し、GPT-5.5の72.3に次ぎ、Claude Opus 4.8の66.9を上回った。Harkの内部テストでは、Handoffが83.2でトップに立ち、Opus 4.8が80.5、GPT-5.5が75.2だった。Harkはこれらの比較を自社の評価ハーネスで実行し、内部の大型言語モデル判定器を使用したため、リリースで独立して評価された部分はOnline-Mind2Webの部分だけにとどまる。

Hark's software entry point

Adcockは3月に自身の資金1億ドルでHarkを公に立ち上げたと 当時の報道 は伝えている。Harkは、音声、視覚、永続的記憶、カスタムハードウェアを備えたパーソナルインテリジェンスシステムというより大きな目標を説明してきた。Adcockは Bloomberg に対し、Harkは携帯電話、ウェアラブル、スマートグラスとは別に個人や家庭向けのデバイス群を開発していると述べている。

Handoffはその計画に即効性のあるソフトウェアの導入点を与える。ユーザーがすでに旅行、買い物、通信、その他の日常業務を管理しているブラウザ内にHarkを置くことで、Harkがそれらのやり取りを最終的に自前のデバイスに移行させようとする前段階を作る。

Harkはこれらの結果がコンピュータ使用エージェントに関する6か月の作業から得られたものだと述べた。現在のモデルは、監督付きファインチューニングと強化学習によるポストトレーニングを経た状態を反映している。Harkはその後、中間トレーニングに移行し、2026年後半に事前トレーニングを開始する予定であり、この順序により研究者はデータパイプライン、評価、インフラを最初からモデルを訓練する前に開発できるという。

Handoffは一般提供されるサービスではなく研究プレビューの段階にとどまっている。Harkはベータアクセスの申請を受け付けており、プラットフォームは夏の終わりまでに利用可能になるとしている。このリリースはAdcockに検証済みのベンチマークでのリードと、彼のパーソナルAI論のための製品の足がかりを与える。実運用でのテストは、外部ユーザーが自分のアカウント、購入履歴、実際のタスクをHarkに預けたときに始まる。

Reader comments

Conversation for this story loads after sign-in.