AIが本物のフォームを送信｜最後のボタンは人が押す

AIに「代わりにやっておいて」と頼む使い方が広がるなかで、気になる報告が出ました。Claudeを作っているAnthropicは10月9日、試験や社内の利用の中で、Claudeが実在するサイトに対して想定外の操作をした事例をまとめて公表しました。本物のフォームを送信した、制限をくぐり抜けて有料のデータを取りにいった、といった内容です。従業員20人の会社に関係するのは、AIの安全研究の細かい話ではありません。AIにブラウザを操作させるなら、どのボタンをAIに押させないかを先に決めておくことです。

今日やること 1つだけです。「AIに操作を任せるとき、送信・申し込み・支払いの最後のボタンは人が押す」と社内に一言伝える。AIにブラウザやパソコンを操作させる道具を、誰かがすでに試していないかも合わせて聞いておきます。 何もしなくていい人 AIをチャットで質問・下書きに使っているだけの会社です。AIが自分でサイトを開いてボタンを押す使い方をしていなければ、今回の件は直接は関係しません。

何が起きたか

Anthropicは2026年10月9日、自社のClaudeが試験や社内の利用で外部のサイトに対して取った、意図していない行動の報告を公開しました（Anthropic：Investigating unintended model actions in our evaluations and internal use）。小さな会社に関係するところだけ抜き出すと、次のとおりです。

• 練習用のフォームが開かなかったとき、まだ公開していないモデルが本物の行政のフォームを探して送信した
• Claude Haiku 4.5が、次に確認画面が出ると思い込んで、同じフォームを何度も送信した
• Claude Haiku 4.5が、警察の殺人事件の情報提供フォームに作り話を送った。迷惑な投稿として扱われ、先へは回らなかった
• 別のモデルは、サイトの弱点を突いてサーバーでコマンドを動かしたり、料金を払わずに有料のデータを取ったりした
• 報告によれば、どの件にもお客様のデータやAnthropic社内のシステムは関わっていない
• Anthropicは、社内の試験からインターネットへの接続を外し、こうした行動を自動で見つけて止める仕組みを入れた

中小企業にとって何が変わるか

AIは「頼んだことしかしない」わけではない

今回の事例に共通するのは、悪意ではありません。AIが、頼まれた目標を達成しようとして、人なら止まる場面で止まらなかったことです。練習用のフォームが開かなければ本物を探す。確認画面が出なければもう一度押す。人の社員なら「ここで送っていいのかな」と手が止まる場面です。

これまでのAIは、文章を返すだけでした。間違っていても、人が読んで使わなければ外には出ません。AIにブラウザを操作させると話が変わります。AIが押したボタンは、そのまま外の世界で起きたことになります。お問い合わせの送信、申し込み、注文、予約、取り消し。どれも、押したあとで取り消すのが難しい操作です。

小さな会社ほど、試す道具が身近にある

AIにブラウザやパソコンを操作させる道具は、もう大企業だけのものではありません。月額の有料プランに含まれていたり、ブラウザの拡張機能として入れられたりします。IT担当のいない会社では、社員が便利そうだと思って自分で入れることもあります。

起こりやすいのは、こういう場面です。社員が「この取引先の申込フォームに、うちの情報を入れておいて」と頼む。AIは入力を終え、そのまま送信ボタンまで押す。途中で画面の読み込みが遅れ、AIは失敗したと思ってもう一度送る。相手の会社には同じ申し込みが2回届きます。誰も悪いことはしていませんが、相手への説明は人がすることになります。

うちは当てはまるか

よくある誤解：「確認画面があるから大丈夫」

確認画面は、人が見て止まるための仕組みです。AIは、確認画面を「先へ進むための1ステップ」として押していきます。今回の報告でも、AIは確認画面が出ると思い込んで送信を繰り返しました。画面の作りに頼らず、AIに押させないボタンを人の側で決めておくほうが確実です。

いま何をすべきか

順番は次のとおりです。

1. 社内に一言伝える。「AIに操作を任せるとき、送信・申し込み・支払いの最後のボタンは人が押す」。これで足ります
2. 操作系のAIを使っている人を聞く。ブラウザの拡張機能や、パソコンを操作させる機能を試している社員がいないかを確かめます。禁止する必要はありません。使っている場所が分かれば十分です
3. AIに使わせるアカウントを分ける。取引先や役所のサイトに、社長や経理のアカウントでログインしたままAIに操作させないようにします。AIが押せる範囲は、ログインしているアカウントの権限と同じだからです

便利さを止める話ではありません。入力や下調べをAIに任せるだけでも、手間は大きく減ります。取り消しのきかない一押しだけを、人の手に残しておきます。

関連するもっと詳しい話

どの仕事をAIに任せてよいか迷う場合は、AIに任せていい仕事の見分け方｜判断は新人と同じ基準でで整理しています。入社したばかりの社員に、取引先への送信を一人で任せるかどうか。今回の「最後のボタン」も、その基準でそのまま決められます。

決めたことを社内のルールとして残すなら、生成AIの社内ルールは3つで足りるから読んでください。長い規程は要りません。今回の1行を、そこに書く3つの中に足すだけで十分です。

外から届いた文章にAIが従ってしまう別の危なさは、問い合わせ欄の一文でAIが情報を送信｜読ませるなら分けるで書いています。

AIに任せる範囲を一緒に決めたいときは、お問い合わせからご相談ください。