AIがマウスを「握る」——GUI操作エージェントの商用展開が本格化

リード

AIが「マウスを握る」——大げさに聞こえるかもしれないが、2026年9月現在、AIエージェントが実際のGUI操作を担う「Computer Use」の本番導入が、国内の複数企業で静かに広がっている。デモ止まりだったあの技術が、現場に入り始めた理由を整理する。

何が起きているのか

Anthropicが2024年秋に公開したComputer Use APIは、スクリーンショットを解析してクリックやキー入力を実行する機能だ。当初は「面白いデモ」の域を出なかったが、2026年に入り操作精度と速度が急伸した。直近のベンチマークでは定型的なWebブラウザ操作タスクの完了率が92.7%に達したという報告が複数出ている。OpenAIも同様のOperator機能を2025年前半に一般開放済みだ。

社内の請求書処理フローをComputer Useエージェントに任せたら、月38時間かかっていた作業が4時間になった。怖いくらい普通に動く。
— 中堅製造業の社内エンジニア（Xより、匿名）

日本国内でも流通・保険・物流の3セクターで概念実証から本番切り替えが2026年Q3に集中している。

背景

Computer Useが長らく「デモ止まり」だった最大の理由は速度だった。2024年時点では1操作あたり平均3〜5秒かかり、人間が並走する業務では使いものにならなかった。2026年9月時点ではキャッシュと並列実行の最適化により、定型操作の平均レイテンシは1.4秒前後まで下がっている。

もうひとつの壁はエラーリカバリーだった。誤クリックや予期しないポップアップでエージェントがフリーズするケースが頻発していた。現行世代はスクリーンショット差分を連続解析し、「想定外の状態」を自律検出して手順を巻き戻すロジックを持つ。この改善がエンタープライズの扉を開いた。

背景にあるのは国内業務システムのレガシー問題だ。APIが存在せず「画面をGUIで操作するしかない」旧来システムと最新エージェントが組み合わさると、API開発ゼロの自動化が実現する。

着目ポイント

「97%完了率」は実環境でも97%か確認する

ベンチマーク上は97%超を示すモデルも、独自カスタムUIやSSO多段遷移が含まれると完了率が80%台前半に落ちるケースが報告されている。触ってみないとわからないの典型で、本番前に実環境での検証は必須だ。

画面に映るものはすべてモデルに渡る

エージェントはスクリーンショット全体を処理する。機密情報や個人情報が画面に映っていればそれもコンテキストに入る。主要ベンダーはオンプレミス実行オプションを提供しているが、クラウド経由の場合はデータ処理委託契約の確認が先決だ。

従来RPAとの本質的な違いを押さえる

UiPath等の従来RPAは座標・要素IDを固定記録するため、画面レイアウト変更で即座に壊れる。Computer Useは「意味を読む」ため、ボタン位置が変わっても「承認ボタンを押す」という指示が通る。ただしLLM推論コストが毎回発生するため、高頻度・大量バッチには経済的に合わない場面もある。

Playwright・Puppeteerとの使い分けを設計に組み込む

Webアプリなら依然としてPlaywrightのほうが速く安く安定する。Computer Useが真価を発揮するのは「コードから触れない画面」——Excelアドイン、社内デスクトップアプリ、VDI上のシステムだ。この棲み分けを最初に設計に入れておくと後で泣かずに済む。

編集部の視点

SIer時代に「APIがないシステムの自動化をどうするか」という相談を何度も受けた。RPA導入→画面変更でクラッシュ→保守コスト爆発、というサイクルを何社かで目撃している。Computer Useが面白いのは、この問題に対して「モデルが画面の意味を理解する」という別解を出してきた点だ。

これ、地味だけど効くやつ——と言いたいところを一回止める必要がある。精度が「十分高い」と「業務に耐える」は別の話で、1回の誤操作がデータ破損や二重処理につながる業務では、承認フローや監視の設計が先だ。自動化率90%を狙う前に、失敗パターンのカタログを作ることを強く勧める。

手元のM2 Proで Claude APIを使いシンプルなフォーム入力タスク（20ステップ）を試したところ、18秒で完了した。速度感は実用的だが、同じタスクをPlaywrightで書いたら2秒だった。ベンチマーク上は実用水準、実装上はコード実行と使い分けるのが現状の正解だ。

まとめ

AIがGUIを操作する技術は「面白い実験」から「現場に入り始めたもの」に変わった。平均レイテンシ1.4秒、実環境でのタスク完了率は80〜93%、保守性はRPAより高い——これが2026年9月の実像だ。セキュリティ設計と失敗時のリカバリー戦略なしに入れると後悔する可能性が高い。まず社内の「APIなし・画面しかない」業務を1つ洗い出して、小さく動かしてみてはどうだろうか。

※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。