社内チャットボットが失敗する理由｜答えの置き場が無い

社内の問い合わせを減らそうと、AIのチャットボットを作った。最初の週は物珍しさもあって、みんな試しに聞いてくれた。ところが、有給の申請方法を聞いたら去年の手順が返ってきた。経費の上限を聞いたら、規程と違う金額が出てきた。気づけば、また総務の席に人が並んでいる。チャットボットの画面は、もう誰も開いていない。

「社内 チャットボット 失敗」で検索すると、製品の比較や選び方が多く並びます。この記事はその手前の話です。作ったチャットボットが使われなくなる原因と、作る前に決めておくことを書きます。

失敗は「もう聞かない」という形で起きる

チャットボットが失敗するのは、導入した日ではなく、外れた答えが何度か返ったあとです。

社内チャットボットの失敗は、目に見える形では起きません。止まるわけでも、エラーが出るわけでもない。ただ、使う人が静かに戻っていきます。総務の担当者に直接聞く、隣の席の人に聞く、前と同じやり方に戻る。

なぜ戻るのか。外れた答えを一度でも受け取ると、そのあとの答えも全部確かめたくなるからです。確かめるなら、最初から人に聞いたほうが早い。こうして、チャットボットは「聞いても結局確認が要るもの」になり、開かれなくなります。

ここで多くの会社は、道具のほうを疑います。もっと賢いAIに替えれば、もっと高いサービスにすれば、と考える。けれど、外れた答えの多くは、AIの賢さとは別のところから来ています。

外れた答えの元は、道具ではなく文書にある

社内チャットボットは、社内の文書を探して、その中身をもとに答えています。元の文書が古ければ、答えも古くなります。

いまの社内チャットボットの多くは、質問が来ると社内の文書から関係しそうな部分を探し出し、それをAIに渡して答えを作らせる仕組みです。検索拡張生成（RAG）と呼ばれます。

デジタル庁のテキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）では、この仕組みの品質を見るときの観点として、質問に対して適切な関連文章を抽出できているか、出力の内容が関連文章の中で言及されているものか、といった項目を挙げています。言い換えると、答えの良し悪しは、探しに行く先の文書の良し悪しで大きく決まるということです。

中小企業の社内文書には、たいてい次のどれかが起きています。

• 古い。就業規則や経費規程を改定したのに、古い版のファイルも残っている
• 散らばっている。共有フォルダ、チャットの過去ログ、個人のパソコン、紙のファイルに分かれている
• 書かれていない。「それはAさんに聞けば分かる」で回っていて、文書になっていない

古い版と新しい版が両方あれば、チャットボットはどちらを拾うか分かりません。書かれていないことは、どんなに賢いAIでも答えられません。答えられないときにそれらしい答えを作ってしまうこともあります。AIの答えをどう扱うかはAIの回答が信用できないときの使い方にも書きましたが、社内チャットボットでは、使う人が毎回確かめる前提にすると、そもそも作った意味がなくなります。

作る前に、答えの置き場を1つ決める

チャットボットを選ぶより先に、「社内の正しい答えはここにある」という場所を1つ決めます。

1. よく聞かれる質問を、1〜2週間書き出す

総務や経理、現場のリーダーが受けた問い合わせを、短く書き留めてもらいます。「有給の申請はどこから」「交通費の精算の締め日は」「新しい人のパソコンの設定は誰に頼む」といった一行で構いません。

書き出してみると、問い合わせの多くは同じ質問の繰り返しだと分かります。最初に答えられるようにするのは、この繰り返しの質問だけで十分です。全部の質問に答えられるチャットボットを最初から目指すと、文書の整理が終わらず、作る前に止まります。

2. その答えが、どの文書のどこにあるかを確かめる

書き出した質問ごとに、正しい答えが書いてある文書を探します。ここで、先ほどの「古い」「散らばっている」「書かれていない」がはっきり見えてきます。

古い版が残っていれば消すか、別の場所に移します。書かれていない答えは、聞かれている人に話してもらい、短く文書にします。分厚いマニュアルを作る必要はありません。質問と答えを一問一答で並べた1つの文書で始められます。マニュアルを読ませる工夫より、聞かれることに答えが置いてある状態を作るほうが効くことは、マニュアルが読まれない理由でも書きました。

3. 文書ごとに、直す人を決める

規程は総務、経費は経理、パソコンや機器は詳しい人、というように、文書ごとに直す人を1人決めます。制度が変わったら、その人がその文書を直す。これが決まっていないと、半年後にはまた古い答えが返るようになります。

チャットボットの中身を最新に保つ仕事は、チャットボットを作った人の仕事ではありません。制度を変えた人が、答えの置き場を直す。この順番を決めておくことが、作る前にやるべきことの中心です。

「うちの問い合わせで、チャットボットに向くものはどれか」から、ご相談ください。よく聞かれる質問を一緒に洗い出し、答えの置き場をどう作るかから決めます。

小さく出して、答えられなかった質問を拾う

最初はよく聞かれる質問だけで出し、答えられなかった質問を文書に戻す流れを回します。

答えの置き場ができたら、ようやくチャットボットを作ります。最初は対象を絞り、「経費と休暇のことだけ答えます」と、使う人に範囲をはっきり伝えます。範囲外の質問には、無理に答えず、担当者の名前を返すようにしておきます。外れた答えを返すより、「これは総務のBさんへ」と返すほうが、信頼は落ちません。

そして、答えられなかった質問や、答えが違っていた質問を、週に一度見返します。その答えを文書に足すか直すかすれば、次からは答えられます。チャットボットは、作った日に完成するものではなく、この見返しで少しずつ答えられる範囲が広がっていきます。

大きな会社のように、専任のチームが社内の全文書を整備してから導入するやり方は、人手の足りない会社にはそのまま持ち込めません。だからこそ、よく聞かれる質問から、一問ずつです。同じ「社内の問い合わせ」でも、会社によって多い質問はまったく違います。他社の導入例をそのまま真似るより、自分の会社で何がよく聞かれているかから始めるほうが確実です。

意味があるのは「チャットボットを導入した」ことではありません。総務の担当者が同じ質問に答える回数が、どれだけ減ったかです。使い続けられるかどうかの見方は、ツールが定着しない｜直すか捨てるかの決め方も参考になります。

今日からやること

よくある質問

社内チャットボットは、どの製品を選べば失敗しませんか。

製品の違いより、答えの元になる文書の状態のほうが結果を大きく左右します。どの製品でも、古い規程や散らばった文書を探しに行けば、古い答えや外れた答えが返ります。製品を選ぶ前に、よく聞かれる質問の答えが1か所にそろっているかを確かめてください。

社内の文書が少なく、ほとんど人に聞いて回っています。それでも作れますか。

作れますが、先に答えを書き出す作業が要ります。よく聞かれる質問を1〜2週間集め、聞かれている人に答えを話してもらい、一問一答の文書にします。この文書ができれば、チャットボットがなくても、新しい人がそれを読むだけで問い合わせが減ることもあります。

チャットボットが間違った答えを返したら、どうすればいいですか。

その質問と正しい答えを記録し、元の文書を直します。間違いの多くは、古い版が残っている、答えが書かれていない、のどちらかです。答えられない範囲の質問には、無理に答えず担当者の名前を返す設定にしておくと、外れた答えで信頼を落とすことを避けられます。

社内チャットボットの効果は、何で測ればいいですか。

総務や経理の担当者が、同じ質問に答える回数が減ったかで見ます。チャットボットに質問が何件来たかだけでは、効果は分かりません。導入前に問い合わせを書き出しておけば、導入後に同じやり方で比べられます。

まとめ

社内チャットボットの失敗は、外れた答えが何度か返ったあとに、「もう聞かない」という形で静かに起きます。原因の多くは道具ではなく、答えの元になる規程やマニュアルが古い、散らばっている、書かれていないことです。

作る前に、よく聞かれる質問を書き出し、その答えを1つの置き場にそろえ、文書ごとに直す人を決めます。チャットボットは、よく聞かれる質問だけで小さく出し、答えられなかった質問を週に一度文書へ戻します。

見るべきは、チャットボットを入れたかどうかではなく、担当者が同じ質問に答える回数が減ったかどうかです。答えの置き場が育てば、チャットボットも一緒に育ちます。