- コラム
チャットボットを試して「うまく答えた」という印象は残っても、どの業務なら任せられるか、誰が回答を直すかまで判断できないことがあります。試験導入では、実際の問い合わせをもとに、合格の条件と参照する資料を先に決めておくと、結果を次の判断につなげられます。
この記事では、試す業務の絞り方、評価質問の作り方、試験結果の記録と再試験、継続・見直し・停止の判断を、架空の受付窓口を例に説明します。
試験導入では、実際の業務で使う質問と資料を用意し、任せられる範囲と人が確認する範囲を決めます。 PoC(Proof of Concept、概念実証)は、本格導入の前に、想定した使い方が成り立つか小さく確かめる検証です。製品を操作するデモで使い方を知った後、自社の条件で回答や運用を確認すると、判断の材料を残せます。
最初は、答えを確認できる資料があり、現場の担当者が結果を判定できる業務を選びます。 たとえば、来訪者向けの受付案内なら、受付時間、場所、予約に必要な情報までを試します。空き状況の確約や予約変更など、個別の確認が要るものは対象外とし、担当窓口への案内を期待する動作として決めておきます。
対象業務、試す人、参照する資料と版、判定日、判断する人を一行で共有してください。質問を出す人と判定する人が同じ場合でも、回答を見る前に期待する内容を書いておくと、説明の流暢さに引っ張られにくくなります。公開情報だけで試せる業務を選び、問い合わせ例に含まれる個人名や連絡先は取り除きます。入力情報や閲覧範囲の確認は、導入時のセキュリティ確認も参考にしてください。
評価質問には、確認する資料と、回答に含めてほしい情報をセットで書きます。 問い合わせの表現を参考に、通常の聞き方、言い換え、条件不足、対象外の質問を選びます。通常の質問では案内が資料と一致するか、言い換えでは同じ条件を伝えられるかを見ます。条件不足なら必要な条件の確認や窓口案内、対象外なら確約せず適切な確認先を示す、といった判定条件を記録します。
たとえば、休日と平日で受付時間が違うなら、単に時刻が書かれているだけでは合格にできません。曜日と時刻がセットで合っているかを確認します。誤った確約や、見せてはいけない情報の表示は、全体の合格率で相殺せず、解消するまで対象業務の公開を止める条件にしておくと判断が明確になります。
質問と実際の回答を同じ記録に残し、何を照合して判定したかを追えるようにします。 台帳は表計算ソフトでも作れます。次は架空の受付窓口を想定した記入例です。時刻や回答は説明用です。
| 記録項目 | 記入例 A-03 |
|---|---|
| 質問と種類 | 「土曜の午後も受付していますか?」(通常) |
| 根拠と合格条件 | 受付案内 v1「受付時間」(架空)。土曜は12時までと伝え、午後の受付を約束しない。 |
| 実際の回答と判定 | 「17時まで受け付けています」。不合格。土曜の受付は12時までという資料と一致しない。 |
| 修正と再試験 | 受付案内 v2で曜日ごとの時刻を明示。11月13日に受付担当が判定。元の質問と「土曜は何時まで?」の2問とも「土曜は12時まで」と回答し、再試験合格。平日の案内も資料と照合済み。 |
同じ台帳に「未試験」を設け、答えを見ていない質問と不合格を区別します。判定が分かれた場合は資料の記載と期待条件を見直し、変更した理由を残しましょう。合格件数を示すときは実施件数と対象範囲も添えます。
台帳を作る際は、質問ID、質問文、参照資料の版、期待する内容、実際の回答、判定、修正、再試験日、判定者の欄を用意します。同じ質問を別の資料や設定で試した場合は、元の行を上書きせず、試験回を追記します。初回と再試験を並べて確認できれば、どの変更を加えた時点で回答が変わったかを振り返れます。
不合格の質問は、元の回答を保存してから修正し、同じ質問で再確認します。 先に資料を見直すと、情報が不足しているのか、旧版が混ざっているのか、資料にある条件を回答が落としたのかを切り分けられます。案内を確認する人と修正する人を決め、何を直したか記録してください。
再試験では、新しい会話で元の質問を試します。加えて、同じ条件を尋ねる別の表現と、修正した箇所に関係する周辺の質問を確認します。たとえば土曜の案内を直したら、平日の受付時間も変わっていないかを見ます。会話の流れが答えに関わるケースは、先行する質問も含めて再現してください。試験日と資料の版を残せば、後で回答が変わったときに比較できます。
試験中は、回答を確認する時間、資料を直す手間、対象外の問い合わせを受ける窓口も記録します。結果を比較するときは、試験の件数や期間に加え、誰がどの作業を担当できるかを確認しましょう。
判定日には、合格率に加えて、重大な失敗が残っていないかと、運用を引き受ける担当がいるかを確認します。 事前に決めた条件と台帳を見ながら、次の行動を選びます。
判断の記録例は「土曜の受付時間の案内は継続。予約変更は対象外。受付担当が案内改定時に同じ質問を再確認」です。対象外の業務も書いておくと、試験していない範囲まで対応できると思われにくくなります。
社内提案では「どの業務を、どんな条件なら任せられるか」を試験結果とセットで伝えます。費用の比較や社内承認はチャットボット導入の稟議書、導入後に継続して見る指標はチャットボットの効果測定で整理できます。
chabeeを検討する場合も、案内したい質問とその根拠になる資料を一組用意すると、確認したい点を具体的にできます。 公式案内では、WebページのURLや文書を登録し、やり取りの履歴から回答を手動で見直せる機能を紹介しています。評価台帳には、登録した資料の版と、実際の回答を照合した結果を記録してください。
デモを相談するときは、使いたい資料の形式、対象外の質問に期待する案内、確認したい質問を伝えると、検討範囲を共有しやすくなります。試験環境の提供条件や利用できる範囲は、申し込み前に確認しましょう。
試験の件数や期間は、確認したい業務の条件から決めます。 繁忙時だけ発生する質問や、曜日・時期で答えが変わる質問があれば、期間内にそれらも試せるよう計画します。
まず代表的な問い合わせを選び、誤案内した場合の影響が大きい条件、言い換え、対象外を加えます。試していない条件が残る場合は台帳に記録し、必要に応じて追加の試験を行います。件数の多さだけで対象業務を網羅できたとは判断できません。
試験で合格した業務だけを対象にできるか確認します。不合格の範囲を外せる場合はその境界と案内先を記録します。重大な誤案内や情報の表示範囲に問題が残る業務は、解消してから再試験します。
試験導入の準備は、よくある質問を一つ選び、答えの根拠と合格の条件を書くところから始められます。 同じ台帳に回答、判定、修正、再試験を残すと、何が確認できたかを担当者同士で共有できます。結果と運用体制を見て、継続する範囲や次に直す点を決めましょう。