前回の記事では、社内向け生成AIチャットボット「chabee」を導入し、チャットログを確認しながら回答を再学習させることで、少しずつ回答精度を高めていく様子をご紹介しました。
しかし、運用を続ける中で新たな課題も見えてきました。
ログを見ながら1件ずつ回答を改善する方法は効果的ですが、質問数が増えるにつれて、より効率的な学習方法も必要になってきます。
そこで今回試してみたのが、chabeeの「学習ファイルアップロード機能」です。
社内規則や福利厚生、各種申請ルールなどをまとめた資料を学習させることで、チャットボットの回答精度はどのように変化するのでしょうか。
今回は実際にイズイズ社内で検証した結果を紹介します。
前回の記事では、チャットログを確認しながら回答を改善することで、徐々に社内チャットボットの精度を高めることができました。
しかし運用を続ける中で、次のような課題も見えてきました。
・新しい質問が次々に発生する
・回答改善に時間がかかる
・情報量が増えるほど管理が大変になる
もちろんログから学習する方法は非常に重要です。
ただし、社内規則や福利厚生など、もともと文書として整理されている情報については、まとめて学習できた方が効率的です。
そこで今回は、学習ファイル機能を活用することにしました。
chabeeには、学習用ファイルをアップロードできる機能があります。
今回は社内FAQとして利用頻度が高そうな情報を中心に整理し、学習用データとして登録してみました。
例えば、
・福利厚生に関するルール
・各種申請手続き
・社内規定
・就業ルール
などです。
管理画面からファイルを登録するだけで学習作業を進められるため、チャットログを1件ずつ確認する方法と比べると、より広範囲の情報を効率よく追加できます。
では実際にどのような変化があったのか、学習の様子とともにチャットボットの回答の変化をご紹介します。
今回は、イズイズの社内ルールの一つである
👉 「リモートワークの環境を準備する手順」
のドキュメントファイルを学習させてみました。
イズイズは基本的に出社を奨励していますが、家庭の事情などで出社が難しい場合にはリモートワークが可能です。
ただイレギュラーなケースのためリモートワークするための手順を忘れてしまったり、初めてリモートワークをする場合などでスムーズに環境を準備できるよう、
社内チャットボットで社員が自己解決できるようにしてきます。
学習前の状態で、
「リモートワークを始めるにはどうしたらいいですか？」
と質問してみました。
社内向けチャットボットの回答は・・・
「すみません。情報が不足しているため回答できません。」
という返答になっていました。
社内で運用しているルールや手順については、学習データが存在しないため、当然ながら回答できません。
これでは、リモートワークのための手順がわからない人は困ってしまいますね。
更にリモートワークの手順を説明できる人が万が一不在の場合、この人はリモートワークが出来ない状態になってしまいます。
そこで今回は、
リモートワーク環境を準備するための手順書をテキストファイル化し、学習ファイルとして登録しました。
手順書には、
・リモートワーク申請方法
・必要な機材
・VPN接続方法
・社内ツールへのアクセス方法
・利用時の注意事項
などをまとめています。
ドキュメントの学習はchabee管理画面の「学習内容」< 「ドキュメント学習」から行えます。
▲「学習内容」< 「ドキュメント学習」
アップロード可能なファイル形式は管理画面内の記載をご参考ください。
「ファイルアップロード」の箇所で、今回はテキストファイル（.txt形式）をドラッグ＆ドロップでアップロードさせて学習させます。
「アップロードログ」の箇所に「リモートワーク時の設定について.txt アップロード成功」と表示されました。
これでドキュメントのアップロードは完了です。
「アップロードファイル一覧」では、これまでにアップロードが完了したファイルやドキュメントの履歴を見ることができます。
ここで注意してほしいのが、先ほどアップロードした「リモートワーク時の設定について.txt」の状態がまだ「学習前」であることです。
chabeeでは、学習させたいファイルやドキュメントをアップロードしたら即学習、というわけではなく、学習までに少し時間が必要です。
アップロード後は、この状態が「学習済み」に変わるまで少し時間を置きつつ、学習状況を確認することがポイントです。
今回はアップロードした30分後には「学習済み」に変わっていました！
学習にかかる時間はアップロードしたファイル・ドキュメントの容量などに左右されます。
なかなか「学習済み」に変わらない場合はファイルを分割して再度アップロードしてみてください。
アップロードしたファイルが一覧で「学習済み」になっていることが確認できたので、再度同じ質問を投げかけてみます。
返ってきた答えは・・・
お、ばっちりの回答が返ってきました！
社内の情報もあるので回答の全体はお見せできませんが、
先ほど学習させたテキストファイルの内容を正確に回答してくれています。
もちろん文章表現には多少の違いがありますが、以前のような
「情報が不足しているため回答できません」
という状態から、
👉 社員が自己解決できるレベルの回答
へ改善することができました。
この変化を見て感じたのは、
👉 「AIを育てた」というより、「社内ナレッジを共有できる状態にした」
という感覚でした。
これまで担当者に聞かなければ分からなかった情報が、チャットボットを通じて誰でも確認できるようになったのです。
学習ファイル機能は便利ですが、実際に使ってみるといくつか注意点もありました。
ここは誤解されやすいポイントです。
現在のchabeeにはAI OCRのような機能はありません。
そのため、
・PDFを登録しただけ
・画像を登録しただけ
では、その中身まで自動で理解して学習することはできません。
学習させたい情報は、
・テキストとして整理する
・FAQ形式にまとめる
・AIが理解しやすい形に整える
必要があります。
もう一つ感じたのは、
👉 AIの性能だけではなく、学習データの品質が重要
ということです。
曖昧な資料を学習させても、曖昧な回答しか返ってきません。
逆に、
・情報が整理されている
・ルールが明確
・FAQ化されている
状態で学習させると、回答精度も向上しやすくなります。
前回の記事では、
「チャットボットは育てるもの」
という話をしました。
今回さらに感じたのは、
👉 チャットボットを育てることは、社内情報を整理することでもある
という点です。
学習ファイルを作る過程で、
・属人化していた情報
・曖昧だったルール
・説明不足だった制度
が見えてきました。
結果として、
チャットボットの精度向上だけでなく、
👉 社内ナレッジの整理
にもつながっています。
学習ファイル機能によって回答精度は向上しましたが、まだ改善の余地はあります。
例えば、
・情報更新への対応
・新制度への追従
・FAQの継続的な見直し
などです。
チャットボットは一度学習させれば終わりではなく、運用しながら成長させていく必要があります。
今回の検証を通じて感じたのは、
👉 学習ファイルは「育成を効率化する仕組み」だということです。
チャットログから改善する方法も重要ですが、
・学習ファイル
・ログ確認
・再学習
を組み合わせることで、より効率よく回答精度を向上させることができます。
そして何より、
👉 チャットボットを育てる過程は、社内情報を整理する過程でもある
ということを実感しました。
社内FAQ対応の効率化や属人化解消を考えている企業にとって、生成AIチャットボットは有効な選択肢の一つになりそうです。
「うちの業務にも使えるかな？」
「何から始めたらいいかわからない…」
そんなときこそ、わたしたち開発チームにぜひご相談ください！
お客様の業種・業務内容・お困りごとを丁寧にヒアリングしながら、
chabee®の導入・カスタマイズ・活用方法まで一緒に考えます。
デモのご案内やお見積りだけでもOK！
お問い合わせはこちらから
👉 https://chabee.jp/index.php#contact （株式会社イズイズ chabee®開発チーム）
株式会社イズイズ
ともちん
イズイズのコーディング担当。
たった一人で5人分くらいうるさい。