チャットボットを診断して改善策をリポートするスポットサービス

　トランスコスモスの「チャットボット AI - IQ診断サービス」は、企業が運営しているチャットボットをリモートで診断し、課題や改善策をリポートで報告するサービスである。調査開始から約3週間で診断結果を報告する。

「チャットボット AI - IQ診断サービス」で生成するリポートの概要

（出所：トランスコスモス）

[画像のクリックで拡大表示]

　トランスコスモスのAI設計者が、独自の設問を用いて診断する。「対話力」「反応力」「正答力」の3つの観点で、チャットボットのIQ（賢さ）値を算出する。項目ごとに1回から複数回のモンキーテスト（猿のように思いつきでデータを入力するテスト）を実施し、スコアを出す。

　対話力では、質問の意図を理解する能力を調べる。日本語の意図の理解、表記ゆれや単語ゆれを吸収する知識などを調べる。反応力では、レスポンスのよさを調べる。シナリオの精度、正答までの時間などを調べる。正答力では、回答が正確かどうか、回答のカバー率、回答の分かりやすさなどを調べる。

　診断結果は、リポートを作成して報告する。リポートには、判定したAI-IQスコア、グラフ、競合との比較などを記載する。視覚的に分かりやすく報告するとしている。