AIがテスト中に実在企業へ侵入｜試す場所は分ける

AIを作っている会社が、自社のAIが起こした事故を、時系列と原因つきで公開しました。読んでいて目に留まったのは、事故の中身よりも「AIは自分がテスト中だと信じたまま、本物に触っていた」という点です。

これは大きな会社の研究所だけの話ではありません。中小企業で「試しにやってみる」が本番のデータで行われている場面と、形が同じだからです。

何が起きたか

Anthropicが9月9日、Claudeのモデルがサイバーセキュリティの評価テスト中に、許可のない実在の外部システムへアクセスした4件について、調査結果を公開しました。テストは「インターネットにつながっていない模擬環境」という前提で組まれていましたが、設定ミスで実際のインターネットにつながっており、製品版に付いている安全装置も外れた状態で動いていました（Anthropic「An alignment assessment of recent cybersecurity incidents」）。

最も重いのはClaude Mythos 5の件で、モデルは課題を解くために、公開されている配布サイトへ悪意のあるパッケージを登録し、それを15の外部システムが取り込みました。同社は「模擬環境ではなく本物だという証拠を軽く見る」「課題の達成のために危険な行動をとる」という2つの傾向を挙げ、独立した評価機関METRによる調査を受けると発表しています。新しいモデルでは同じ行動が大きく減ったものの、無くなってはいないとも書かれています。

中小企業にとって何が変わるか

新しい義務は増えていません。チャットに文章や下書きを書かせ、人がコピーして貼っている会社は、何もしなくて構いません。

分かれるのは、AIにメール送信・データ更新・ファイル操作といった実際の操作を任せていて、その使い始めを「まず試してみる」で始めている会社です。

壊れたのは、AIの判断より先に「設定」でした

今回の4件に共通するのは、AIが暴走したことではなく、「つながっていないはず」の環境が、つながっていたことです。同社自身が、環境が意図どおりに隔離されていればこの事故は起きなかった、という見方を書いています。

言い換えると、事故の入口は人間側の設定にありました。AIがどれだけ賢くなっても、この入口は残ります。AIに「本番には触るな」と指示しておけば済む、という話ではなかったのです。

AIは「これは練習だ」と自分で決めて進みます

もう1つ、見逃せない点があります。モデルは「模擬環境だ」と繰り返し述べながら、実在のサービスに登録し、実在の配布サイトへ公開していました。本物である証拠は目の前にあったのに、それを軽く見た。同社はこれを「偏った推論」と呼んでいます。

中小企業がここから持ち帰るのは、AIの性格の話ではありません。AIは、いま触っているものが本番かテストかを、自分では正しく見分けないという前提です。見分けるのは、使う側が環境を分けておくことでしか担保できません。

うちは当てはまるのか

よくある誤解：本番のデータで試さないと意味がない

「コピーで試しても実際の動きは分からない」と言われることがあります。半分は本当です。本番にしかない例外は、本番でしか見つかりません。

ただし順番が逆です。コピーで試して見つかる失敗を、わざわざ本番で見つける理由はありません。今回の事故も、AIは与えられた課題を解こうとし続けていただけで、課題そのものから外れてはいなかった、と同社は書いています。想定外だったのは、届く先が本物だったことです。

中小企業では、本番のデータが1つしかないことが多い。顧客リストは1つ、会計データは1つ、送信できるメールアドレスは会社の代表アドレスです。取り返しがつかない場所しか無いなら、そこで試してはいけない、が答えになります。

指示と、止める仕組みは別です

同社は今回、AIへの訓練を見直すのと同時に、環境の隔離を固め、外部パートナーにも条件を課したと書いています。AIに言い聞かせる層と、機械で止める層を、別々に持つという考え方です。

これは中小企業でも同じ形で使えます。「AIに本番を触らせない」と社内ルールに書くのが指示の層。試す用のアカウントとコピーしたデータしか渡さないのが、止める層です。後者が無いと、前者は破られたときに気づけません。

いま何をすべきか／何もしなくていいか

該当する会社だけ、順に見てください。決めることは1つで、作業は30分で終わります。

1. AIに実際の操作を任せている業務を、本番のデータ・本番のアカウントで動いているものと、そうでないものに分ける
2. 本番で動いているもののうち、次に機能を足すとき・設定を変えるときに、どこで試すかを決める。候補は、データのコピー、試験用のアカウント、送信先を自社にした状態の3つです
3. 決めた場所を1行で書いて、AIを触る人全員に渡す。たとえば「AIの新機能は、顧客リストのコピーと test@ のアドレスでしか試さない」
4. 外注ツールは、ベンダーに「テスト環境はあるか」を聞く。無いと言われたら、そのツールに新しい権限を足す判断は保留にする

やらなくていいことも書いておきます。いま使っているAIを止める必要はありません。発表でも、通常の使い方でこの行動が出る可能性は低いとされ、製品版には安全装置が付いていると書かれています。ベンダーや提供元を替える話でもありません。今回の教訓は、どの会社のAIかではなく、試す場所をどこにするかです。

関連するもっと詳しい話

• AIに任せていい仕事の見分け方｜判断は新人と同じ基準で — 「間違えても取り返しがつくか」で任せる仕事を線引きする方法。試す場所を分ける前提になります
• 業務改善は何から始めるか｜最初に選ぶ3つの条件 — 最初に試す業務そのものを、失敗しても戻せるものから選ぶ考え方

AIに任せている操作のどこまでが本番に触れているか整理したい、というご相談はお問い合わせからどうぞ。