☰

  • コラム

「資料にあるのに答えられない」を減らすために|chabeeの改善記録

✕

chabeeは、登録された情報から質問の根拠を探し、その内容をもとに回答を作ります。この基本の仕組みに対して、会話の引き継ぎや回答ルールを整え、さらに情報の探し方も見直してきました。

まず改修前からの基本の流れを説明し、その後に検索改善と過去データでの検証を紹介します。あわせて、それに先立って行った会話の引き継ぎ・AIモデル・回答ルールのアップデートもまとめました。

まず、chabeeが回答を作る基本の仕組み

chabeeの基本は、登録されたWebページや資料から質問に関係する情報をいくつか探し、その内容をもとに回答文を作ることです。 この「情報を探す → 文章にする」という流れ自体は、今回の改修前からある仕組みです。

基本の流れは、次の3つです。

  1. 質問を受け取る。 利用者が入力した質問文を受け付けます。
  2. 根拠になる情報を探す。 登録されたWebページや資料の中から、質問に関係する部分をいくつか候補として取り出します。
  3. 見つかった情報をもとに回答を作る。 取り出した情報を元に、質問への返事として文章にまとめます。

たとえるなら、質問に関係する資料を机に並べ、その内容を見ながら返事を書くような仕組みです。どの情報が材料として取り出されるかが、回答を左右します。

資料にあるのに答えられない。自社でも確かめました

この流れの途中で必要な情報を拾えなければ、資料に答えがあっても、十分な回答につながりません。 開発元のイズイズ自身の確認履歴にも、案内が止まってしまったやり取りがありました。

質問:何をしている会社ですか?

回答:株式会社イズイズの具体的な事業内容は、今回の情報からは確認できません。ごめんなさい。情報が不足しているため、お答えできません。

これは過去の実際の回答です。「ホームページには事業内容を書いているのに、なぜ?」という疑問から、回答文だけでなく、その前段階にある情報の探し方を確かめました。

資料が足りないのか、登録されているのに見つけられないのか、見つかった情報を回答で生かせていないのか。どこでつまずいたかを分けることが、改修の出発点になりました。

今回の改善:答えに必要な情報を、取りこぼしにくく

今回見直したのは、回答に使う根拠候補の集め方と、参照する情報の範囲です。 先ほどの流れでいう「根拠を探す」部分を中心に、必要な内容を回答に渡しやすくする改修を行いました。

  • 質問の言葉と、資料の見出しも手掛かりにする。 文章の意味の近さに加え、何について知りたいのか、質問にどのような言葉が含まれているかも使って、関連する情報を探す処理を見直しました。
  • 見つかった箇所の前後も参照する。 Webページの一部分だけでは説明が足りないときは、登録済みの同じページの前後の情報も補って参照するようにしました。

たとえば、料金だけを取り出すと、その近くに書かれた対象プランや注意書きが抜けてしまうことがあります。前後も含めて確認できれば、金額と条件を一緒に説明するための材料をそろえやすくなります。

本棚から近そうな本を選ぶだけでなく、目次や前後の文章まで見て、質問に必要な説明を集める。今回の改修は、その「探すところ」を見直したものです。

数百件規模の過去データから、検証と改善を繰り返す

今回の改修では、数百件規模の過去の質問・回答を調査材料にし、その中から検証する質問を選び、修正前後を確かめてきました。 一つの質問に答えられたかだけで判断せず、登録資料、検索で見つかった情報、実際の回答を照合しています。

確認するのは、主に次のような点です。

  • 質問の答えは、そもそも登録された資料にあるか。
  • その答えに必要な部分を、根拠候補として取り出せているか。
  • 回答の名称・数字・条件が、資料の内容と合っているか。
  • 根拠が足りないときに、想像で断定していないか。

うまく答えられなかった質問は、どこで情報が抜けたのかを調べて修正し、同じ質問で再確認します。言い回しや条件の違う質問も試し、変更がほかの回答にどう影響するかを見ながら、検証と改善を重ねました。

過去の回答そのものを正解として扱うのではなく、登録資料に照らして確かめています。こうして見つけた課題を、情報の探し方や回答ルールの見直しにつなげています。

検索改善に先立って行った、3つのアップデート

検索の改善に先立って、会話の引き継ぎ機能の追加、AIモデルの変更、回答ルールの強化を行いました。 これらも従来からの基本の仕組みとは分けて、改修で変わった点として紹介します。

1.新機能:同じチャットの話題を引き継ぐ

先のアップデートで、同じチャット内の会話を手掛かりに回答する機能を追加しました。 回答まで完了した直近最大6往復を参照します。1往復は、利用者の質問と、それに対するchabeeの回答の一組です。

たとえば、chabeeの料金について話した後の「その場合はいくらですか?」のような短い質問でも、直前の話題を手掛かりに回答します。毎回、サービス名や条件を最初から言い直す手間を減らすための変更です。

ただし、前の回答を無条件に正しいものとして使うのではなく、対象の登録情報を根拠にする方針です。話題が変わったときや条件を訂正したときは、最新の質問を優先します。

2.回答を作るAIモデルを変更

回答文を組み立てるAIモデルも、次のように変更しました。

  • gpt-4o-mini → gpt-6-luna
  • gpt-4o → gpt-6-sol

ご利用中の設定を変更する必要はありません。これまでの設定のまま、新しいモデルを利用できるようにしています。

3.回答ルールの強化:対象や条件を保って答える

対象や条件を確かめて説明することも、改修で強化した回答ルールです。先のアップデートで、質問と同じ対象・サービス・適用条件の情報を使い、名称や数字を保って答えるよう、AIへの指示を見直しました。

  • 名称や数字を変えない。 電話番号、URL、名称、金額、人数、数量、単位、適用条件などを、登録情報どおりに保つよう指示を強化しました。
  • その対象の情報を根拠にする。 店舗・施設・商品・サービスごとの設備や利用条件を、一般論や似た別の対象の情報で補わない方針にしました。
  • 質問に合わせて、答える範囲を整える。 個別の質問には必要な条件を添えて簡潔に答え、一覧や比較を求める質問には、検索で確認できた該当項目を省略せずに案内するようにしました。

たとえば、金額が合っていても、別プランの条件を混ぜてしまえば、利用者の判断を誤らせます。単に答えが出たかではなく、「どの対象に、どんな条件で当てはまる答えなのか」まで伝えることを大切にしています。

これからも、実際の質問から見直していきます

根拠を探す、条件を確かめる、質問に合う文章にする。その一つひとつを、過去のやり取りと検証結果から見直しています。 質問の仕方や登録資料の状態によって結果は変わるため、今後も実際の回答を確認しながら改善を続けます。

管理者が、取り込まれた本文や回答に使った情報を確かめやすくすることも、今後の検討事項です。現在の改修と検討中の機能を分け、使っていて困った場面から次の改善を考えていきます。

一般的な見直しの進め方は、チャットボットの回答精度を上げる方法でも紹介しています。chabeeがどのように案内するか気になる方は、公式サイトから普段の言葉で質問してみてください。

※掲載した実際のやり取りは、イズイズ自身の確認履歴から抜粋しています。本文の図解は仕組みや検証作業を伝えるためのイメージです。

株式会社イズイズ

chabee®編集部

chabee®編集部は、株式会社イズイズが開発・提供する生成AI型チャットボット「chabee®」の情報発信を担う編集チームです。チャットボット活用、Web接客、問い合わせ分析、業務改善に役立つ情報を、開発・運用の知見をもとに発信しています。記事の下書きや画像制作には必要に応じてAIを活用し、公開前に編集担当者が内容・表現・製品情報を確認しています。