AIエージェントにブラウザを操作させるには？始め方・活用例・注意点をわかりやすく解説

こんにちは、AIニュースアプリ Morning AI 開発者の矢野哲平です。この記事では、AIエージェントにブラウザを操作してもらい、業務を効率化する方法について解説します。

AIにブラウザを操作させるとは？

ここで言うブラウザとは、Chromeのように、普段私たちがインターネットのサイトを閲覧しているソフトのことです。このブラウザを人間が操作するのではなく、AIに操作してもらうのが今回のテーマです。

AIを使うと、ファイルを要約したり作成したりと、いろいろなことができます。そうしたできることの中に、「AIにブラウザを操作してもらってタスクをこなしてもらう」というものがあります。

具体的には、AIが人間のようにブラウザを開いて、サイトを閲覧したり、スクロールしたり、クリックしたりします。ほぼ人間と同じような操作を、AIができるわけです。

あなたタスクを指示する

AIエージェント人間の代わりに操作

ブラウザChromeなど

Webサイト閲覧・入力・クリック

あなたタスクを指示する

AIエージェント人間の代わりに操作

ブラウザChromeなど

Webサイト閲覧・入力・クリック

一番汎用的な活用例は調べ物

AIがブラウザを操作できるようになると、便利な場面が結構あります。一番汎用的に使える活用事例は、調べ物・調査のタスクです。

例えば、AIに出張の日程と訪問場所を渡して、「この背景情報を踏まえて、予算いくらで宿泊先のホテルを探してください」と頼む、といった使い方です。

もともとAIはインターネット上の情報を取得できますが、ブラウザを操作できるようになると、より詳細な情報まで取得できます。他にも、フォームの内容を埋めて送信する、といったこともできます。

以前は使い物にならなかった

AIにブラウザを操作させるという発想は最近のものではなく、2025年にはすでに登場していました。ただ、出てきた当時は、正直あまり使い物にならなかったという印象です。当時のAIモデルは性能が低く、こちらが想定した動きをなかなかしてくれませんでした。

最近は事情が変わり、AIモデルの進化に伴って、ブラウザを操作する精度が格段に上がっています。シンプルに、以前よりもできることが増えました。

AIをいろいろな仕事の場面で使っている方は多いと思いますが、その選択肢の中に「AIにブラウザを操作してもらう」を入れてみるのがおすすめです。

AIにブラウザを操作させる方法

やり方は非常に簡単です。ChatGPTやClaudeのようなAIツールが、すでにそういった機能を提供しています。会社によって細かい部分は変わりますが、基本的にはどのAI会社もブラウザを操作する機能を搭載しています。以前紹介したGrok Botも、AIにブラウザを操作してもらうことができます。

ChatGPTの場合：Workモード

ChatGPTには「Work」というモードがあります。簡単に言うと、ChatGPTでAIをエージェントのように動かせる機能です（ChatGPTのエージェント機能については、ChatGPT agentの記事も参考にしてください）。

このWorkモードに切り替えて、「ブラウザを操作してほしい」と明示的に伝えると、AIがブラウザを操作してくれます。例えば、サイトのURLを渡して「このサイトでこういったタスクを行ってほしい」と指示すると、AIエージェントが動作して、ブラウザ上でタスクをこなしてくれます。

1

Workモードに切り替える

AIをエージェントのように動かすモード

2

URLとタスクを渡す

「このサイトで〇〇をしてほしい」と明示的に伝える

3

エージェントがブラウザを操作

作業の様子は画面の右側にリアルタイム表示

4

必要なら人間が引き継ぐ

途中で操作を代わることもできる

1

Workモードに切り替える

AIをエージェントのように動かすモード

2

URLとタスクを渡す

「このサイトで〇〇をしてほしい」と明示的に伝える

3

エージェントがブラウザを操作

作業の様子は画面の右側にリアルタイム表示

4

必要なら人間が引き継ぐ

途中で操作を代わることもできる

AIがどのような作業をしているかは、画面の右側にリアルタイムで表示されます。AIが操作している途中で、そのブラウザの操作を人間が代わることもできます。

Claudeの場合：Chrome拡張機能

Claudeの場合は、Chrome拡張機能からブラウザを制御できます。Claudeのチャットやデスクトップアプリ、Claude Codeのようなツールから、ブラウザの制御が行えます。Claudeがパソコンそのものを操作する機能については、Computer Useの記事でも解説しています。

ChatGPTでもClaudeでも、どちらも精度高くブラウザを操作できます。どちらかというと、Claudeの方が作業のスピードは速いと感じています。

ログイン済みのブラウザをAIに渡す

ClaudeのChrome拡張機能を使うと、今自分がパソコンで操作しているブラウザを、そのままAIに渡すことができます。つまり、特定のサイトにログインした状態でAIにブラウザを渡せるので、ログイン済みのサイトをAIが操作できるようになります。

例：App Storeの管理画面からレポートを取得する

私の場合、App Store Connect（App Storeの管理画面）の操作をAIに任せています。私はiOSアプリを公開しているのですが、その管理画面には「どれだけユーザーが利用したか」「どこからユーザーが流入してきたか」といった情報があります。

こうした情報はプログラムでも取得できるのですが、細かい数字を取得したい場合は、やはりその画面からレポートをダウンロードする必要があります。これが地味に面倒な作業でした。

そこで、AIにログイン済みのブラウザを渡して、「ここと、ここのデータのレポートをダウンロードしてください」というタスクを行わせています。AIにこうした仕事を振ると、レポートのダウンロードから分析、次の打ち手の提案までを一気に行ってくれます。シンプルに作業効率が上がるので便利です。

これまで

画面をポチポチ手動で取得

人間の手作業でしか取れないデータ

管理画面にログインしてレポートを探す

ダウンロードしてから分析は別作業

これから

AIがブラウザを操作して取得

ログイン済みのブラウザを渡すだけ

レポートのダウンロードをAIに任せる

分析から次の打ち手の提案まで一気通貫

これまで

画面をポチポチ手動で取得

人間の手作業でしか取れないデータ

管理画面にログインしてレポートを探す

ダウンロードしてから分析は別作業

これから

AIがブラウザを操作して取得

ログイン済みのブラウザを渡すだけ

レポートのダウンロードをAIに任せる

分析から次の打ち手の提案まで一気通貫

今回はアプリの分析情報を例にしましたが、こういったシチュエーションは結構あると思います。人間の手作業でないと取得できないデータがあり、パソコンの画面をポチポチしながら手動で取得していた。そういったデータ集めを、AIに直接ブラウザを操作してもらって行う。仕事がはかどるのでおすすめです。

セキュリティ的にどうなのか？

ここまで読んで、「AIにブラウザを操作させるのは、セキュリティ的にどうなのか」と思う方もいると思います。この疑問は至極まっとうで、エージェントにブラウザを操作させることに、危険性が全くないとは言い切れません。会社によっては、なかなか許可されないケースもあると思います。

私も無条件にAIにブラウザを操作させているわけではなく、万が一があっても問題が起きにくいタスクで利用しています。例えば、証券会社のサイトをAIに渡して操作してもらう、といったことは現時点では怖くてできません。一方で、AIがミスをしても問題ないだろうというタスクには、積極的に振るようにしています。

例：Gemini Notebookのノートブックを一括作成する

例えば、GoogleのGemini Notebookです。私はGemini NotebookでAIポッドキャストを作り、移動中に聞くのが日課なのですが（作り方はこちらの記事）、ノートブックを作成してAIポッドキャストを作るのが結構手間です。

そこで、ログイン済みのGemini Notebookの画面と、作成してほしいノートブックの一覧をAIに渡して、まとめてノートブックを作ってもらっています。

ちなみにClaudeの場合、「ノートブックを削除したい」という指示は、人間が依頼しても受け付けないようになっています。また、Gemini NotebookのAPIも公開され、プログラムから制御できるようになっているようです。まだ試せていませんが、機会があれば試してみようと思います。

例：商標データベースでアプリ名の重複を調べる

もう一つの例です。私はちょうど新しいアプリを作っているのですが、そのアプリの名前が他のアプリと競合していないかの調査にも使いました。各国に商標をチェックできるデータベースがあるので、そこをエージェントに操作してもらい、作ろうとしているアプリの名前と重複するものがないかを調べてもらいました。

このように、国や団体が公開しているデータベースにエージェントからアクセスして、特定の情報を調べたいときにも活躍します。

定期的なタスクは「手順書」をAIに作らせる

ここまでは、突発的に発生したタスクの例でした。一方で、毎日・毎週発生するタスクをこなしてほしい場合もあると思います。先ほどのデータベースの調査は突発的なタスクでしたが、「アプリのアクセスデータを毎週取得したい」は定期的に発生するタスクです。

AIは2回目でも「初見」になる

AIも人間も同じで、初めて操作するサイトは使い方がよく分かりません。AIは初めてのサイトを、「レポートを切り替えるボタンはここかな」「ダウンロードする場所はここかな」と試行錯誤しながら操作していきます。

人間なら一度操作したサイトはある程度記憶していますが、AIの場合、2回目の操作でも新規のセッションであれば初見と同じ挙動になります。1回目に操作した内容を、AIは覚えていないのです。

そのため、毎回同じタスクを依頼しても、工夫をしなければAIは毎回初めて操作するのと同じ状態になります。時間もかかるし、利用枠も消費してしまいます。

解決策：初回に操作マニュアルを作らせる

では、どうすればよいのかというと、初めてAIにそのサイトを操作してもらうときに、同時に操作マニュアルも作るように依頼すればOKです。2回目に操作するときは、その操作マニュアルを添えて「この内容に沿って作業を進めてください」と指示します。1回目に比べて操作が正確になり、利用枠も抑えられます。

私は次のようにしています。

1

初回は上位モデルで操作

Claude OpusやGPT Sol。同時に操作マニュアルも作らせる

2

2回目以降は軽量モデル

Claude HaikuやGPT Lunaにマニュアルを添えて指示

3

失敗したら一段ずつ上げる

エフォートを上げる、SonnetやTerraに切り替える

1

初回は上位モデルで操作

Claude OpusやGPT Sol。同時に操作マニュアルも作らせる

2

2回目以降は軽量モデル

Claude HaikuやGPT Lunaにマニュアルを添えて指示

3

失敗したら一段ずつ上げる

エフォートを上げる、SonnetやTerraに切り替える

1. 初めて操作を依頼するサイトでは、Claude OpusやGPT Solのような上位モデルを使い、同時に操作マニュアルを作ってもらう
2. 2回目以降に同じ内容を操作してもらうときは、Claude HaikuやGPT Lunaのような軽量モデルで操作する

初見の場合、軽量モデルを使うと高い確率でタスクが完了しません。ですが、マニュアルを添えてあげることで、軽量モデルでも問題なくブラウザを操作できます。

1点補足すると、タスクの複雑さによっては、軽量モデルにマニュアルを添えても失敗することがあります。そのときは、エフォート（思考の深さ）を上げたり、Claude SonnetやGPT Terraのように、もう一つ上のモデルに上げたりしています。いずれにしても、複雑な操作でも毎回上位モデルを使わずに済むので、利用枠を節約できます。

まとめ

1. AIにブラウザを操作してもらうことで、手作業でしか取れないデータの取得など、細かい作業も依頼できる
2. 定期的に何度も発生する操作は、AI自身に手順書を作成してもらい、2回目以降はそれを参照させると精度が上がる
3. ブラウザ操作は便利な反面、リスクもつきまとう。AIが操作に失敗することを想定し、万が一があっても大丈夫な環境でワークフローを設計する

このような制限をかけると、お願いできることは少なくなるように感じますが、エージェントに任せられるブラウザ操作は意外と転がっています。そうしたものを積み重ねていくと、今のAI活用にプラスして業務効率化を図ることができます。興味のある方は、ぜひ試してみてください。