- コラム
chabeeは、登録された情報から質問の根拠を探し、その内容をもとに回答を作ります。この基本の仕組みに対して、会話の引き継ぎや回答ルールを整え、さらに情報の探し方も見直してきました。
まず改修前からの基本の流れを説明し、その後に検索改善と過去データでの検証を紹介します。あわせて、それに先立って行った会話の引き継ぎ・AIモデル・回答ルールのアップデートもまとめました。
chabeeの基本は、登録されたWebページや資料から質問に関係する情報をいくつか探し、その内容をもとに回答文を作ることです。 この「情報を探す → 文章にする」という流れ自体は、今回の改修前からある仕組みです。
基本の流れは、次の3つです。
たとえるなら、質問に関係する資料を机に並べ、その内容を見ながら返事を書くような仕組みです。どの情報が材料として取り出されるかが、回答を左右します。
この流れの途中で必要な情報を拾えなければ、資料に答えがあっても、十分な回答につながりません。 開発元のイズイズ自身の確認履歴にも、案内が止まってしまったやり取りがありました。
質問:何をしている会社ですか?
回答:株式会社イズイズの具体的な事業内容は、今回の情報からは確認できません。ごめんなさい。情報が不足しているため、お答えできません。
これは過去の実際の回答です。「ホームページには事業内容を書いているのに、なぜ?」という疑問から、回答文だけでなく、その前段階にある情報の探し方を確かめました。
資料が足りないのか、登録されているのに見つけられないのか、見つかった情報を回答で生かせていないのか。どこでつまずいたかを分けることが、改修の出発点になりました。
今回見直したのは、回答に使う根拠候補の集め方と、参照する情報の範囲です。 先ほどの流れでいう「根拠を探す」部分を中心に、必要な内容を回答に渡しやすくする改修を行いました。
たとえば、料金だけを取り出すと、その近くに書かれた対象プランや注意書きが抜けてしまうことがあります。前後も含めて確認できれば、金額と条件を一緒に説明するための材料をそろえやすくなります。
本棚から近そうな本を選ぶだけでなく、目次や前後の文章まで見て、質問に必要な説明を集める。今回の改修は、その「探すところ」を見直したものです。
今回の改修では、数百件規模の過去の質問・回答を調査材料にし、その中から検証する質問を選び、修正前後を確かめてきました。 一つの質問に答えられたかだけで判断せず、登録資料、検索で見つかった情報、実際の回答を照合しています。
確認するのは、主に次のような点です。
うまく答えられなかった質問は、どこで情報が抜けたのかを調べて修正し、同じ質問で再確認します。言い回しや条件の違う質問も試し、変更がほかの回答にどう影響するかを見ながら、検証と改善を重ねました。
過去の回答そのものを正解として扱うのではなく、登録資料に照らして確かめています。こうして見つけた課題を、情報の探し方や回答ルールの見直しにつなげています。
検索の改善に先立って、会話の引き継ぎ機能の追加、AIモデルの変更、回答ルールの強化を行いました。 これらも従来からの基本の仕組みとは分けて、改修で変わった点として紹介します。
先のアップデートで、同じチャット内の会話を手掛かりに回答する機能を追加しました。 回答まで完了した直近最大6往復を参照します。1往復は、利用者の質問と、それに対するchabeeの回答の一組です。
たとえば、chabeeの料金について話した後の「その場合はいくらですか?」のような短い質問でも、直前の話題を手掛かりに回答します。毎回、サービス名や条件を最初から言い直す手間を減らすための変更です。
ただし、前の回答を無条件に正しいものとして使うのではなく、対象の登録情報を根拠にする方針です。話題が変わったときや条件を訂正したときは、最新の質問を優先します。
回答文を組み立てるAIモデルも、次のように変更しました。
ご利用中の設定を変更する必要はありません。これまでの設定のまま、新しいモデルを利用できるようにしています。
対象や条件を確かめて説明することも、改修で強化した回答ルールです。先のアップデートで、質問と同じ対象・サービス・適用条件の情報を使い、名称や数字を保って答えるよう、AIへの指示を見直しました。
たとえば、金額が合っていても、別プランの条件を混ぜてしまえば、利用者の判断を誤らせます。単に答えが出たかではなく、「どの対象に、どんな条件で当てはまる答えなのか」まで伝えることを大切にしています。
根拠を探す、条件を確かめる、質問に合う文章にする。その一つひとつを、過去のやり取りと検証結果から見直しています。 質問の仕方や登録資料の状態によって結果は変わるため、今後も実際の回答を確認しながら改善を続けます。
管理者が、取り込まれた本文や回答に使った情報を確かめやすくすることも、今後の検討事項です。現在の改修と検討中の機能を分け、使っていて困った場面から次の改善を考えていきます。
一般的な見直しの進め方は、チャットボットの回答精度を上げる方法でも紹介しています。chabeeがどのように案内するか気になる方は、公式サイトから普段の言葉で質問してみてください。
※掲載した実際のやり取りは、イズイズ自身の確認履歴から抜粋しています。本文の図解は仕組みや検証作業を伝えるためのイメージです。