Browser Use、Macアプリを直接制御するためのmacOS Harnessをリリース

Why it matters

Browser Use is moving its agent architecture from web automation into the operating system, giving coding models a common control layer for browsers, native apps and local files.

Gregor Zunic (@gregpr07), co-founder and CTO of Browser Use, は8月17日に macOS Harness を公開しました。これは、コーディングエージェントがブラウザ、ファイル、シェルコマンドと並んでネイティブのMacアプリケーションを操作できるようにする実験的なオープンソースのPythonレイヤーです。

Zunic は Xのスレッドで macOS Harness を紹介しました。GitHub repository はより大きな賭けを示しています：Browser Use はエージェントインフラストラクチャをウェブサイトの外側に拡張し、モデルにユーザーのコンピュータの残りを制御するための小さな生のインターフェイス群を与えようとしています。

Y CombinatorのBrowser Useプロフィールによれば、Zunic は物理学の学士号取得後に ETH Zurich でデータサイエンスを学びました。彼は2024年に Magnus Muller とともにサンフランシスコの同社を共同設立し、YCのWinter 2025バッチに参加しました。Browser Use はAIエージェントをウェブサイトに接続するためのオープンソースライブラリから始まりましたが、macOS Harness はそのアプローチをデスクトップソフトウェアに押し広げるものです。

アプリ固有の統合ではなく6つのプリミティブ

macOS Harness は6つの主要な操作を公開します：see, key, type, click, ax, script。これらを組み合わせることで、エージェントはアプリケーションのウィンドウをキャプチャし、キーボードや座標で入力を送り、Appleのアクセシビリティツリーを検査し、AppleScriptを実行できます。Browser Use は既存の Browser Harness、Python のファイルシステムツール、およびサブプロセスアクセスも同じ永続プロセス内に配置しています。

その「永続性」は設計の中心です。変数、ヘルパー関数、状態は呼び出し間で持ち越せるため、エージェントは固定された統合カタログに依存する代わりに、タスク中に足りない Python ロジックを書けます。Browser Use によれば、Spotify、Slack、Final Cut などのアプリ向けの専用ツールは用意していません。モデルは基盤となるMacのプリミティブを受け取り、必要なワークフローを自ら構築します。

リポジトリの例では、エージェントが Spotify をキャプチャし、キーボードコマンドで検索を開き、アーティスト名を入力し、座標をクリックし、アクセシビリティデータを通じてインターフェイスを検査し、再生を開始するAppleScriptコマンドを送信します。同じプロセスは Chrome DevTools Protocol を介してログイン済みの Chrome セッションに問い合わせたり、ローカルファイルを検査したりできます。

Browser Use によれば、ハーネスはバックグラウンドのアプリケーションウィンドウを前面に出さずにキャプチャしたり、特定のプロセスに入力を向けたり、ユーザーの物理的なカーソルを動かさずにクリック可能な仮想ポインタを表示したりできます。この最後の機能はデスクトップ自動化の実用的な問題に対応します：エージェントはアプリケーション内で作業しつつ、ユーザーは実際のマウスの制御を保持できます。

Browser Use は薄いハーネスの主張を拡張する

macOS Harness は Browser Use がブラウザエージェント向けに開発してきたアーキテクチャに従います。パッケージは Chrome 向けの Browser Use の永続制御レイヤである Browser Harness に依存し、ネイティブなデスクトップアクセスには PyObjC を通じて Apple's Application Services を利用します。

Zunic は2026年を通じて、モデルが直接的なツールとエラーから回復する余地を与えられるほどエージェントの信頼性が向上すると主張してきました。彼は3月のエンジニアリング投稿で、Browser Use は大規模フレームワークにエンコードされた仮定ではなく、実際のエージェントセッションで観測された振る舞いを中心にハーネスを構築していると書いています。macOS Harness はその原則をOSレベルで適用します：永続的なPythonプロセス、限られたプリミティブのコレクション、そして基盤となる環境への直接アクセスです。

このリリースは、Browser Use がホストし Zunic と Muller と協力して Ofir Ozeri によって作成された以前のデスクトップエージェントリポジトリである macOS-use とも異なります。macOS-use は Mac との対話とモデルプロバイダを中心にエージェントワークフローをパッケージ化しています。macOS Harness は、作業しながら自分自身で Python を生成できるコーディングエージェントの下に位置することを意図した、より低レベルの制御表面です。

このパッケージはバージョン0.1.2で、プロジェクト設定ではアルファとされています。Python 3.11 以上が必要で、Browser Use のインストール手順は Python 3.12 と uv パッケージマネージャーを推奨しています。Browser Use は Codex と Claude Code のセットアップ手順を提供しており、コーディングエージェントにハーネスの呼び出し方を教える生成済みのスキルファイルも含まれます。

デスクトップアクセスは権限の重要性を高める

macOS Harness のインストールには Accessibility、Screen Recording、Automation の権限が必要になる場合があります。Browser Use によれば Input Monitoring は不要であり、パッケージの診断コマンドが報告する権限のみを付与するようユーザーに指示しています。

これらの権限はエージェントに可視インターフェイス内容へのアクセスとアプリケーション内で操作する能力を与えます。Browser Use のセキュリティガイダンスは、エージェントの指示やサードパーティのインターフェイスコンテンツを信頼できないものとして扱い、元に戻せない操作を確認し、各タスクに必要な権限に制限するようユーザーに求めています。

匿名のテレメトリはデフォルトで有効になっています。Browser Use によれば記録されるのはコマンドカテゴリ、成功可否、所要時間、パッケージバージョン、オペレーティングシステム、アーキテクチャ、および検出されたエージェントクライアントです。ドキュメントによればプロンプト、スクリーンショット、アプリ名、インターフェイスのテキスト、スクリプト、ファイルパス、ウィンドウタイトルは除外されており、ユーザーはコマンドラインからテレメトリを無効にできます。

macOS Harness は MIT ライセンスで Mac 専用です。初期リリースであるため、信頼性と安全なタスク実行が中心的な試験課題として残ります。Browser Use はコーディングセッションからネイティブアプリケーション、個人ファイル、認証済みブラウザセッションへのルートをエージェントに提供しました。そのアクセスの有用性は、エージェントが実際のデスクトップの不規則なインターフェイスや権限の境界に直面したときに、6つのコマンドからなる制御レイヤーが予測可能であり続けられるかどうかにかかっています。