「AIに指示を出すと、文章や画像が返ってくる」。ここ数年、多くの方が体験してきたAIの使い方です。ところがその手前で、別の使い方が育ってきました。AnthropicがAIにPC画面を操作させる「Computer Use（コンピュータ操作）」を公開ベータとして発表したのは2024年10月（Anthropic公式）。それから各社が精度を高め、2026年のいまは中小企業でも実務で試せる水準に近づいてきました。AIが自分で画面を見て、マウスを動かし、キーボードを打ち、アプリを横断して作業を進める。人が使うのと同じ画面を、AIが代わりに操作する。その流れが本格化しています。この記事では、群馬県内の中小企業の担当者に向けて、この「PCを操作するAI」がいま何をどこまでできるのか、そして自社で試すなら何から手を付けると安全かを整理します。
「PCを操作するAI」は何が新しいのか
これまでのAI連携は、あらかじめ用意された接続口（API）を通す形が主流でした。「このシステムとこのシステムをつなぐ」と決めて、開発者が配線する。だから接続口を持たない古い業務ソフトや、社内でしか動かないツールは対象外になりがちでした。
PCを操作するAIは、この前提を外します。Anthropic社が「Computer Use（コンピュータ操作）」と呼ぶ機能では、Claudeが画面のスクリーンショットを読み取り、「次にどこをクリックし、何を入力するか」を自分で判断して操作を繰り返します（Anthropic公式）。米CNBCも2026年3月に、Anthropicが「AIがあなたのPCを使ってタスクを完了させる」段階に入ったと報じています（CNBC, 2026-03-24）。同種の機能はOpenAIのChatGPT agent（単独機能だった「Operator」は2025年7月にChatGPTのagent modeへ統合されました）、Googleの「Project Mariner」など各社が競って提供しており、一社だけの実験ではありません。
ポイントは、人間が見ている画面をそのまま操作する点です。接続口の有無に関係なく、画面に映るものなら扱える。ここが従来の自動化との一番の違いです。
いま実際に任せられること、まだ危ういこと
できることから見ていきます。手順が決まっていて、繰り返しが多く、間違えても取り返しがつく作業は相性が良いところです。たとえば、決まったフォーマットの画面から数字を拾って表計算ソフトに転記する、複数のサイトから同じ条件で情報を集めて一覧にする、といった作業です。従業員20名の卸売業なら、取引先ごとにバラバラな受注画面から数量と納期を拾い、自社の管理表にまとめる。こうした「人がやると単調で時間がかかるが、判断はほぼ要らない」仕事が最初の候補になります。
一方で、まだ危ういこともはっきりしています。長い手順を最後までミスなく走り切る力は、思ったほど高くありません。研究者が使う「OSWorld」という評価では、実際のPC作業を長い工程で最後までやり切れる割合は、最新モデルでもまだ低い水準にとどまります。デモ動画では鮮やかに動いても、10手・20手と続く現実の業務では途中でつまずくことが珍しくない。筆者はここを正直に伝えるべきだと考えます。
つまり現時点の実力は、人が横で見ている前提で、短い定型作業を任せるあたりが現実的な線です。「夜のうちに全部やっておいて」と丸投げできる段階には、まだ届いていません。
なぜ「見ていないところで全部任せる」がまだ早いのか
完遂率の問題に加えて、もう一つ見過ごせないリスクがあります。プロンプトインジェクションと呼ばれる、画面越しの「乗っ取り」です。
PCを操作するAIは、画面に映る文字を指示として読み取ります。ということは、開いたWebページやメールにAI向けの悪意ある命令が仕込まれていた場合、AIがそれに従ってしまう恐れがあります。「この画面のファイルを外部に送れ」といった文言を、正規の指示と区別できないまま実行する。Anthropic自身も、この機能には画面上の指示に誘導されるリスクがあるとして、扱う範囲を絞るよう注意を促しています。
だからこそ、ネットバンキングの操作や、個人情報を含む画面、取り返しのつかない送信・削除を伴う作業を、無人でAIに任せるのは時期尚早です。任せるなら、被害が限定される範囲に閉じておく。これが2026年時点の現実的な線引きだと、筆者は考えます。
中小企業が最初に試すなら、この一歩から
「面白そうだが、うちで何から」という方に向けて、順序を整理します。
- 作業を1つだけ選ぶ。毎日・毎週決まって発生し、手順が固定で、判断がほぼ要らないものを選びます。まずは転記や集計など、間違えてもすぐ気づける作業から
- 人が横で見る前提で試す。最初から無人運用を狙わず、AIの操作を人が確認しながら回します。どこでつまずくかが見えてきます
- 触らせる範囲を閉じる。お金・個人情報・削除を伴う画面には入れない。テスト用のデータや限定した権限で始めます
- 止め方と戻し方を決めておく。おかしな動きをしたらすぐ止められること、元に戻せることを先に用意します
PCを操作するAIだけが自動化の答えではない点も添えておきます。手順が完全に固まっていて、対象のシステムに接続口があるなら、n8nのようなワークフロー自動化ツールで組んだほうが速く、確実で、コストも読めます。画面操作AIが向くのは「接続口がない・画面でしか触れない」領域です。両方を見比べて、安いほうで済むなら安いほうを選ぶ。ここは自社に合わせて判断が要るところです。
まとめ
- AIが人と同じPC画面を見て操作する「Computer Use」を各社が提供開始。接続口の有無に関係なく、画面に映るものなら扱えるのが従来の自動化との違い
- いま任せられるのは、人が横で見る前提の短い定型作業。長い工程を無人で最後までやり切る力はまだ発展途上
- 画面越しの命令に従わされるプロンプトインジェクションのリスクがあり、お金・個人情報・削除を伴う作業を無人で任せるのは時期尚早
- 始めるなら、作業を1つ選び、人が見守り、触れる範囲を閉じ、止め方を決めてから。接続口があるならn8n等の自動化のほうが確実な場合も多い
ククルデザインでは、群馬県内の中小企業さま向けにAI・DX導入のご相談を承っています。「PCを操作するAIと、n8nのような自動化のどちらが自社に向くか」を切り分けるところからでも構いません。まずは小さく試す一歩を一緒に設計します。お気軽にお問い合わせください。
