GoogleがGeminiのMacアプリにシステム全体での音声編集を追加

Why it matters

Google is using Gemini's reach to claim the Mac cursor as an AI interface, raising the bar from transcription to context-aware editing, file analysis and generation.

Googleは7月29日にGemini macOS appに音声駆動のライティングと編集機能を追加し、ユーザーが口述したテキスト、書き直し、ファイルの要約、生成画像をアクティブなウィンドウに直接配置できるFnキーのショートカットを提供しました。

この機能はSpeak to Windowと呼ばれ、GoogleによるとXでの3投稿からなるスレッドとそのリリースノートで英語で全てのGemini Macユーザーに展開されているとされています。標準のディクテーションはデフォルトで有効になっています。ユーザーは話している間Fnキーを押し続け、話し終えてキーを離すとカーソル位置にGeminiの出力が挿入されます。二度タップすると、長い文章向けにハンズフリー録音が開始されます。

Googleによれば、ディクテーションモードはフィラー（つなぎ言葉）を除去し、文中での訂正にも従い、発話を段落や箇条書きに整形します。これはGeminiを単なる逐語的な文字起こしから進化させるもので、モデルがスピーカーの言葉をドキュメントに到達する前に編集していることを意味します。

The reasoning mode reaches into the active window

アプリのSpeak to Window設定でユーザーが有効にする必要がある別の推論オプションでは、Geminiが画面上のコンテキストを利用できます。ユーザーはメールやドキュメント、その他のアプリ内のテキストをハイライトして、口頭でGeminiにトーンを変更させたり、書き直したり、再フォーマットするように依頼できます。同じワークフローで、選択したドキュメント、PDF、画像から情報を抽出したり、ビジュアルを生成して作業中の場所に挿入したりすることも可能です。

Googleは、Geminiが通常のディクテーションと推論を要するリクエストを区別すると述べています。同社はまた、ローカルファイルへのアクセスをユーザーが選択した素材やユーザーが明示的に接続したディレクトリに限定しています。ブラウザページ全体や共有フォルダ内のファイルを読み取るには、macOSのアクセシビリティ許可が必要です。

この区別は重要です。というのも、Googleは通常は基本的なOSのディクテーションに関連付けられるショートカットの背後に汎用モデルを配置しているからです。この製品はチャットボットを開いてコンテキストを与え、結果を別のアプリにコピーし戻すようユーザーに強いるのではなく、カーソル周辺の素材を変換できます。

この展開は、Googleが4月15日にネイティブのGemini Macアプリを発表した時に続くものです。無料のアプリはApple Silicon搭載マシンでmacOS Sequoia 15.0以降を対象としています。既にOption+Spaceのミニチャット、Option+Shift+Spaceで開くフルチャット、および両方のCommandキーを使うショートカットによるウィンドウ共有を提供していました。

デスクトップへの取り組みは、Google Labs、Geminiアプリ、AI Studioを率いるGoogle副社長のJosh Woodwardの管掌の下にあります。Woodwardは以前にGoogleのNext Billion Usersイニシアチブの立ち上げに携わり、Chromebookにも関わっていました。彼の現在の任務は、Geminiをブラウザタブで訪れる目的地ではなく、デスクトップ全体で持続的なインターフェースにするというGoogleの取り組みをカバーしています。

AI assistants are competing for the Mac shortcut

Googleは、ユーザーとアプリケーションの間のレイヤーをめぐる激しい競争に参入しています。Claude DesktopのQuick Entryはどのアプリからも開くことができ、スクリーンショットを取り、Caps Lockショートカットを通じて音声ディクテーションを受け付けることができます。Anthropicの現在のワークフローでは、メッセージを転写してユーザーが確認した後にそれをClaudeに送信します。

ChatGPT's Work with Appsは対応するエディタ、ターミナル、コーディングツールからコンテキストを読み取り、統合開発環境内で提案された編集を適用できます。OpenAIは接続されたアプリで作業する際の音声もサポートしていますが、ドキュメントには音声モードがコード編集をサポートしていないと記載されています。

Geminiの提案は入力時点でより幅広いものです：アクティブなテキストフィールドに向かって話し、必要なときに近くのコンテンツを選択し、その結果をカーソル位置で受け取る。同じ音声ショートカットから画像を生成して挿入できる能力は、Googleがそのマルチモーダルモデルを通常のデスクトップ作業に結びつける別の手段を与えます。

Googleはこの機能を配布するための十分なリーチを持っています。Sundar PichaiはAlphabetの7月22日の決算説明会で、Geminiアプリが9.5億の月間アクティブユーザーに到達し、日次アクティブユーザーが前年から3倍になったと述べました。これらは同社が報告した数値であり、macOSの採用状況を細分化したものではありません。

今回のMac向けアップデートは、Googleがそのリーチを習慣化に変えようとしている場所を示しています。競争は「どのチャットボットが単独で最良の回答を出すか」から、「どのアシスタントが最小の摩擦でユーザーのファイル、画面、カーソルに最も近く居続けられるか」へと移行しています。Speak to Windowは、Appleの独自OS上でそのワークフローに直接入り込むためのGoogleのルートを提供します。