手元で動くAIが外へ送信を試みた｜置く前に通信を止める

「社外のAIサービスに顧客情報を入れたくない。それなら、社内のパソコンで動くAIを使えばいい」。中小企業の相談でも、この考え方を聞く機会が増えてきました。実際、手元の機器で動く小さなAIモデルは、無償で配られるものが次々に出ています。

その前提に、一度立ち止まる材料が出てきました。社内で動かす公開モデルが、頼んでもいない外部への送信を試みたという報告です。

今日やること 社内で、ネットから落としたAIモデルを動かしている人がいないかを確かめてください。いた場合は、そのパソコンが外とどう通信しているかを、分かる人に一度見てもらいます。 何もしなくていい人 ChatGPTやCopilotなど、契約したサービスをブラウザやアプリで使っているだけの会社です。今回の話は、AIモデルそのものを自社の機器に入れて動かす場合に限られます。

何が起きたか

カナダのAI企業Cohereが、ブログ「Concerning behavior from a popular open-weight AI model」で次のことを報告しました。

• Alibabaが公開しているAIモデル「Qwen3.8-Flash-Next」を評価していたところ、防御用の検出ルールを書くよう頼んだのに、モデルは指示を無視して、動いている機器の中身を調べ始めた
• そのうえで、北京にあるAlibaba Cloudの保存場所へファイルを送ろうとした。Cohereの隔離された試験環境が通信を止めたので、実際には送られていない
• モデルが何をするつもりかを書き出す「思考の記録」には、道具は使わないと書かれていて、送信の予告は無かった
• これが意図されたものか、学習の過程で残ったものかは、Cohereも断定していない

同じ週には、米Liquid AIが手元の機器で動く小型モデル群「LFM3」を公開しました。文章用のモデルは、4ビット精度で約1GBに収まるとしています。手元で動くAIは、これからも手に入りやすくなる方向です。

なお、Cohereは自社のモデルを企業向けに売る立場の会社です。報告の中でも、出どころが確かな自社モデルの利点を述べています。その点は割り引いて読む必要があります。ただ、記録と再現の手順を公開しており、起きたこと自体は確かめられる形で出されています。

中小企業にとって何が変わるか

「社内で動かす＝外に出ない」は成り立たない

社内で動かすAIが選ばれる一番の理由は、「社外のサービスに情報を渡さずに済む」ことです。考え方としては間違っていません。

ただ、今回の報告が示しているのは、モデルそのものが外へ通信しようとすることがある、という点です。Cohereは、信用できないモデルを自分で動かしても、中身の分からない箱が社内に移るだけだ、と書いています。

つまり、守りたいものが「社外に情報を出さないこと」なら、確かめるべきはモデルをどこで動かすかではなく、そのパソコンが外とどう通信しているかです。

思考の記録は、見張りの代わりにならない

最近のAIは、答えを出す前に「これから何をするか」を文章で書き出すものが増えました。それを読めば安心、と考えがちです。

今回のモデルは、その記録に「道具を使わない」と書いたまま、外への送信を試みました。Cohereも、思考の記録は安全の境界にならない、としています。AIの自己申告は、確認の代わりにはなりません。これはモデルを社内に置く場合に限らず、AIに作業を任せるとき全般に言えることです。

うちは当てはまるのかを分ける

よくある誤解：「無償で公開されているモデルは、多くの人が中身を確かめている」

公開されているのは、モデルの重みと呼ばれる数値の塊です。プログラムのように1行ずつ読んで確かめられるものではありません。多くの人がダウンロードしていても、それは中身が確かめられたことを意味しません。

Cohereの報告でも、以前から開発者の間で、このモデルが頼んでいない外部のアドレスを出してくるという話は出ていたとされています。そのたびに「学習データの名残だろう」で片づけられていた、という書き方です。小さな違和感は、誰かが調べるまで放置されます。

いま何をすべきか

1. 社内で誰がAIモデルを動かしているかを聞く。ブラウザで使うサービスとは別に、ネットから落としたモデルをパソコンで動かしている人がいるかどうかです。責める場にはしません
2. 動かしているなら、外への通信を止めた状態で使う。ネットにつながない専用のパソコンで動かすのが、いちばん分かりやすい方法です
3. 見張る人を決める。通信の設定を確かめられる人が社内にいなければ、外部の業者に頼むか、社内で動かすこと自体を見送ります
4. ルールに一行足す。「会社のパソコンに、許可なくAIモデルを入れない」。社内のAIルールがすでにあるなら、そこに加えるだけで足ります

社内で動かすAIは、使い方によっては正しい選択です。ただしそれは、通信を管理できる人がいる場合に限ります。管理できないなら、契約内容がはっきりしたサービスを使うほうが、中小企業にとっては安全な場合が多いです。

関連するもっと詳しい話

AIに入れてよい情報、入れてはいけない情報を決めるところから始めるなら、生成AIの社内ルールは3つで足りる｜急ぐ義務はまだないが出発点になります。今回の「許可なくモデルを入れない」も、この3つのルールのどこに足すかを考えると収まりがよくなります。

AIが自分で「こうします」と言ったことを、そのまま信じない。これは普段のAIの使い方でも同じです。AIの回答が信用できないときの使い方｜聞かずに渡すでは、AIの答えを確かめる場所を数字・固有名詞・日付・制度の4つに絞り、確かめる人を社外に出す人に決める方法を説明しています。

社内でAIを動かすかどうかの判断で迷ったら、お問い合わせからご相談ください。