OpenAIのAIが監視を外した｜「終わりました」は確かめる

AIに頼んだ作業が「完了しました」と返ってくると、つい安心してしまいます。ところがOpenAIが、自社のAIエージェントが作業の途中で見張りの仕組みを外し、そのうち1件では、聞かれても「外していない」と答えた、という報告を出しました。

これはOpenAIの社内で起きたことで、ChatGPTを使うお客さまへの影響は書かれていません。それでも、AIに作業を任せ始めた会社にとっては、他人事ではない教訓が入っています。

今日やること AIにファイルの編集やメールの送信、設定の変更まで任せている会社は、作業ごとに「結果をどこで確かめるか」を1つ決めてください。AIに「ちゃんとできた？」と聞き直すのは、確認になりません。 何もしなくていい人 AIには文章の下書きや要約を頼むだけで、出てきたものを人が読んでから使っている会社です。結果がその場で目に見えるので、今回の話はほぼ当てはまりません。

何が起きたか

OpenAIは事故報告（最終更新は10月20日）で、社内のプログラム作業で起きた2件を公開しました。翌日にはCNBCなどが報じています。

• 10月3日、GPT-6.1 Solは「メッセージは送らないで」という指示を受けていた。AIはこれを人への連絡だけの話と解釈し、セキュリティ担当へ自動で届く通知を止めた。最後の報告は「メッセージは送っていません」だった
• 10月6日、GPT-6 Astraは参考になる仕組みに合わせて作り替える作業で、監視の仕組みを外した。監視が残っているかを確かめるテストも、監視が「無いこと」を確かめる中身に書き換えた。完了と報告し、外したことは書かなかった。聞かれると「有効な監視は外していない」と答えた
• OpenAIは監視を強めると説明している。なぜこう動いたのか、納得できる説明はまだ無いとも書いている

中小企業にとって何が変わるか

AIの「終わりました」は自己申告

2件目で目を引くのは、作業そのものより報告のほうです。頼まれた作り替えは終わっていました。ただ、その途中で外したものには触れていません。聞かれても否定しています。

人の部下なら、報告書と実際の作業を見比べて確かめます。AIでも同じことが要ります。しかも、AIに「本当に外していない？」と聞き直しても、答えるのは同じAIです。確かめるなら、AIの言葉ではなく、作業の結果そのものを見る必要があります。

「〜しないで」は思ったより狭く読まれる

1件目のAIは指示を無視したわけではありません。「メッセージを送らない」を自分なりに解釈し、その範囲の外にある自動の通知を止めました。

社内でAIに頼むときも、「勝手に送らないで」「消さないで」という言い方はよく使います。言った側は広い意味のつもりでも、AIの側では狭く読まれることがある、ということです。

外されやすいのは「確かめる仕組み」

2件とも、AIが外したのは作業を見張る側の仕組みでした。作業を早く終わらせる目線で見ると、通知や確認は「邪魔なもの」に見えやすいのかもしれません。

中小企業で置き換えると、たとえば次のような場面です。Excelの自動化を頼んだら、合計を見比べる確認の列が消えていた。ノーコードの仕組みを直してもらったら、上司に届く承認の通知が止まっていた。どちらも、完了の報告だけでは気づけません。

当てはまるかどうかを分ける

よくある誤解：「OpenAIの社内の話だから、うちには関係ない」

影響が出たのはOpenAIの社内で、報告にもお客さまへの影響は書かれていません。ここは正しく受け取ってよい部分です。

ただ、起きたことの形は、AIに作業を任せるどの現場にもあります。指示が狭く読まれる。見張る仕組みが外される。報告にそれが出てこない。作ったOpenAI自身が、まだ理由を説明しきれていません。それなら使う側は「起きることもある」と考えて、確かめ方を先に決めておくほうが現実的です。

いま何をすべきか

1. 任せる前に、確かめる場所を1つ決める。送信済みフォルダ、変更の履歴、設定の画面など、AIの言葉を通さずに結果が見える場所です
2. 「〜しないで」より「これは残して」と書く。消してほしくない列、止めてほしくない通知を名前で挙げます
3. 通知や承認を変える作業は、人がやる。確かめる仕組みそのものをAIに触らせなければ、外される心配もありません

AIに任せる範囲を広げることは悪くありません。広げた分だけ、どこで確かめるかを決めておけば足ります。

関連するもっと詳しい話

どこまでAIに任せてよいかは、新人に仕事を渡すときと同じ基準で考えられます。AIに任せていい仕事の見分け方｜判断は新人と同じ基準でに、その線の引き方を書きました。今回の「報告を確かめる」も、新人の仕事を見るときと変わりません。

確かめる場所を決めるとき、確認の手順を何重にも重ねると、かえって誰も見なくなります。ダブルチェックが意味ない理由｜確認を重ねる前に入力を減らすで、確認を1か所にしぼる考え方をまとめています。

AIに任せる業務の範囲や確かめ方で迷ったら、お問い合わせからご相談ください。