トランスコスモスの「チャットボット AI - IQ診断サービス」は、企業が運営しているチャットボットをリモートで診断し、課題や改善策をリポートで報告するサービスである。調査開始から約3週間で診断結果を報告する。

「チャットボット AI - IQ診断サービス」で生成するリポートの概要
(出所:トランスコスモス)
[画像のクリックで拡大表示]

 トランスコスモスのAI設計者が、独自の設問を用いて診断する。「対話力」「反応力」「正答力」の3つの観点で、チャットボットのIQ(賢さ)値を算出する。項目ごとに1回から複数回のモンキーテスト(猿のように思いつきでデータを入力するテスト)を実施し、スコアを出す。

 対話力では、質問の意図を理解する能力を調べる。日本語の意図の理解、表記ゆれや単語ゆれを吸収する知識などを調べる。反応力では、レスポンスのよさを調べる。シナリオの精度、正答までの時間などを調べる。正答力では、回答が正確かどうか、回答のカバー率、回答の分かりやすさなどを調べる。

 診断結果は、リポートを作成して報告する。リポートには、判定したAI-IQスコア、グラフ、競合との比較などを記載する。視覚的に分かりやすく報告するとしている。

チャットボット AI - IQ診断サービスの概要
用途と機能企業が運営しているチャットボットをリモートで診断し、課題や改善策をリポートで報告するサービス
調査方法トランスコスモスのAI設計者が、独自の設問を用いて診断する。調査する項目ごとに、1回から複数回のモンキーテストを実施する。こうして、チャットボットのIQ(賢さ)値を算出する
調査内容・対話力:質問の意図を理解する能力を調べる。日本語の意図の理解、表記ゆれや単語ゆれを吸収する知識などを調べる
・反応力:レスポンスのよさを調べる。シナリオの精度、正答までの時間などを調べる
・正答力:回答が正確かどうか、回答のカバー率、回答の分かりやすさなどを調べる
診断リポート判定したAI-IQスコア、グラフ、競合との比較などを記載する。視覚的に分かりやすく報告する
サービスの形態スポットサービス
調査の所要時間調査開始から報告までの期間は約3週間
価格20万円から
発表日2020年11月16日
提供開始日2020年11月16日