- コラム
「質問には答えているように見えるのに、利用者からは解決しないと言われる」「同じ内容を聞かれて、結局は担当者が対応している」。チャットボットの回答精度に悩むときは、AIそのものだけを見るのではなく、どの質問で、なぜ利用者が目的の情報にたどり着けなかったのかを確認することが出発点です。
この記事では、未解決の質問を分類し、FAQ・ナレッジ・回答文を見直して、改善できたかを確かめるまでの流れを解説します。自社の数値や機能を前提にせず、導入後の運用担当者が進めやすい手順に絞ります。
まずは、正しい情報を返せたかと、利用者の疑問が解決したかを分けて見ます。
チャットボットが関連する案内を表示しても、条件や例外が抜けていたり、次に何をすればよいか分からなかったりすれば、利用者は解決できません。反対に、回答できない場合でも、適切に有人窓口へ案内できれば、誤った情報を返すよりよい体験になることがあります。
そのため、改善の対象は「未回答」だけではありません。回答後に同じ質問が繰り返されたもの、すぐに有人対応へ進んだもの、回答への評価が低いものも、確認候補に加えます。正答率と解決率は同じ意味ではないため、自社では何をもって「解決」とみなすかを先に決めておきましょう。
ログを読むときは、質問を増やす前に「なぜ答えられなかったか」で分けると、直す場所が見えてきます。
代表的なのは、必要な情報がそもそもないケース、質問の言い回しが資料とずれているケース、条件・例外・手順が複雑で回答が不足しているケース、そして人の確認が必要なケースです。同じ未解決でも、追加すべき情報と有人対応へつなぐべき質問は異なります。
問い合わせからテーマを整理する考え方は、チャットボットは顧客の本音が集まる場所でも紹介しています。ログに個人情報が含まれる場合は、閲覧範囲や保管方法を社内ルールに合わせて扱ってください。
回答を追加するときは、質問文と回答文に加えて、根拠・更新日・担当者を確認できる状態にします。
情報が複数の資料に分かれていたり、古い案内と新しい案内が混在していたりすると、回答のぶれにつながります。まず、どの資料を正として参照するのかを決め、重複や矛盾がないかを確認しましょう。
回答文には、利用者が判断に必要な条件、例外、次に行う操作を含めます。ただし、すべてを一度に詰め込むと読みづらくなります。詳細ページへのリンクや、確認が必要なときの相談先を添えると、回答の役割を明確にできます。学習ファイルを使った検証の考え方は、学習ファイルでチャットボットを育てたらどうなった？も参考にしてください。
修正後は、登録した質問文だけでなく、実際に使われた言い回しや言い換えでも確認します。
テストでは、答えられるべき質問、言い換えた質問、答えるべきでない質問、有人対応へ引き継ぐべき質問を用意します。回答に必要な情報が含まれているか、古い情報を出していないか、案内先が分かるかを確認しましょう。
改善前後で比較する対象を残すことも重要です。対象とした質問の件数、修正内容、確認日、テスト結果を記録しておけば、次回の見直しで同じ課題を繰り返しにくくなります。数値を増やすことよりも、同じ条件で比べられることを優先してください。
「ログ確認 → 原因分類 → 情報修正 → テスト → 再確認」を小さく繰り返すことが、回答品質の改善につながります。
毎日すべてのログを評価する必要はありません。日次では明らかな誤案内や急な変化を確認し、週次では未解決の多いテーマを選び、月次では改善後の傾向を振り返る、と役割を分けると続けやすくなります。
効果を見る際は、利用数だけで成功を決めません。未解決の質問、有人対応への移行、利用者評価、問い合わせ内容の変化などを、導入目的に照らして見ます。測定する指標の選び方は、チャットボットの効果測定とは？KPIの決め方と改善につなげる手順で詳しく解説しています。
Q. 回答精度が低いとき、最初に確認することは？
A. 未解決だった質問を集め、情報不足・表現のずれ・説明不足・有人判断が必要なケースに分けることから始めます。原因を分けずにFAQを増やすと、同じ問題が残ることがあります。
Q. FAQを増やせば回答精度は上がりますか？
A. 必要な情報が増えることはありますが、古い情報や似た回答が混在するとかえって判断しにくくなります。正とする根拠、質問の言い方、条件・例外、更新責任も一緒に整えましょう。
Q. どのくらいの頻度で見直せばよいですか？
問い合わせ量や更新頻度に合わせて決めます。日次の異常確認、週次の改善テーマ選定、月次の効果確認のように分けると、見直しを続けやすくなります。
チャットボットの回答精度を上げるには、AIの性能だけで結論を出さず、利用者が解決できなかった理由を確かめることが大切です。未解決ログを分類し、ナレッジ・FAQ・回答文を直し、利用者の言い方でテストして、改善できたかを確認する流れを作りましょう。
社内文書やWebサイトの情報を活用したチャットボットの導入・改善を検討している方は、chabee®の公式サイトで機能や導入方法をご確認ください。