コンピュータ操作とは？
コンピュータ操作（Computer Use）は、AIがパソコンの画面を見て、クリック、文字入力、スクロールなどの操作を行う機能です。専用のAPIがないWebサイトやデスクトップアプリでも、人間が画面を操作するのに近い方法で仕事を進められます。
たとえば、Webサイトから情報を探す、管理画面へデータを入力する、複数のサービスを行き来して手続きを進める、といった作業に使われます。AIが文章を返すだけでなく、実際に画面上の操作を行う点が大きな違いです。
どのように動く？
AIは画面のスクリーンショットや構造を読み、次に行う操作を決めます。操作後の画面を再び確認し、目的を達成するまで「見る・判断する・操作する」を繰り返します。
製品によっては、ブラウザだけを操作するもの、パソコン全体を扱うもの、画面操作とコードやAPIを組み合わせるものがあります。OpenAI、AnthropicなどがComputer Useに対応するモデルや仕組みを提供しています。
ツール呼び出しとの違い
ツール呼び出しやMCPでは、「予定を取得する」「メールを作成する」のように、用意された機能をAIが選んで実行します。入力と結果の形が決まっているため、一般に画面をクリックするより速く、間違いも検出しやすい方法です。
Computer Useは、専用の連携が用意されていない画面でも操作できる反面、ボタンの位置や表示が変わると迷うことがあります。APIやMCPで確実に行える作業はそちらを使い、画面でしかできない部分をComputer Useで補う方法が現実的です。
安全に使うための注意点
- 削除、購入、送信、公開は実行前に人間が確認する
- 操作できるサイト、アプリ、フォルダを限定する
- 必要以上のログイン情報や権限を渡さない
- ページ内の怪しい指示を信用させない
- 操作履歴を残し、結果を後から確認できるようにする
Webページには、AIへ悪意のある指示を読ませるプロンプトインジェクションが仕込まれる可能性があります。Computer Useは便利なぶん影響範囲も大きいため、隔離された環境で動かし、重要な操作には人間の承認を残すことが基本です。