40 用途が拡がる音声感情解析ソリューション 　（聞き手理解確認ソリューションについて2）｜音声活用ブログ

前回のブログでは「聞き手理解度確認ソリューション」の必要性と動作原理について解説しました。このブログでは当社の現在の研究状況について説明します。

前回のブログでも紹介しましたが、「聞き手理解度確認ソリューション」の研究を完成させる為には、次のことを行う必要があります。

① 感情データの採取
② 理解度が別の方法で推定できる事象において、その理解度と採取した感情データとの比較
③ アルゴリズムの仮説と検証

1) 感情データの取得

まず、感情データの採取ですが、ある企業様のご協力を頂き、その企業様のコールセンターで製品・サービスの説明をお客様にしているのですが、その時のお客様の質問・意見の声を時系列的に採取させていただきました。横軸が時間、縦軸が感情値です。下図にデータの実例を示します。
これは、聞き手が質問や意見を言った時の声から、発声者の集中度合いを時系列的に示したグラフです。集中度が高い時間と低い時間とが変動しています。

これは聞き手が質問や意見を言った時の思考の集中度を示しています。時間値86の時点では集中度が高いですがそれ以外ではあまり集中していないことがわかります。この時点では集中のグラフから発声者の集中度も高まっていることが読み取れます。

これはストレスの時系列的なデータです。あまり変化が無く比較的安定しています。
このようなデータを想像活動、自信、期待（演技度）、エネルギー、興奮についてもその感情値を取得して分析しています。これらを教師データと言いますが、様々な場面での多くの教師データを取得する必要があります。現在当社ではお客様のご要望や状況に応じて一緒に教師データを集めさせていただいております。もしご興味のある企業がいらっしゃいましたら是非ともお声がけ下さい。

2) 理解度が推測できる場面の取得

感情データを使わないでも、聞き手が明らかに話を理解していると（人間が）判断できるときに聞き手が質問や意見を述べる場面や、逆に明らかに理解していないときの場面をできるだけ多く取得します。
これはコールセンターでの会話でベテランオペレーターに選んでもらいます。これはオペレーターさんの経験や能力により差異が出るのですが、会話を第三者も聞いてなるべく中立な評価を行います。これを教師データとします。

3) 理解度と感情データの比較

２）で述べた教師データと、１）で述べた感情データとを比較して、理解しているときとしていない時の感情データ特徴を抽出します。これにはAIによる特徴抽出アルゴリズムを使います。
現在、数１０の教師データと感情データの比較をしています。ある程度特徴抽出が出来てきているのですが、まだ十分ではありません。今後も研究を続ける予定です。

4) 聞き手理解度確認アルゴリズムの仮説と検証

上記３）で説明した比較から聞き手理解度確認アルゴリズムを数式化することを試みています。いくつかのアルゴリズムを仮定し、そこに実感情データを入力して理解度を出力させ、それをオペレーターが判断した理解度と比較してどの仮説アルゴリズムが最も人間の判断に近いかを検証しています。
この仮説アルゴリズムは企業秘密であり詳しくは述べられませんが、ある程度理解度確認ができる事が解ってきました。実用化にはもう少し時間がかかるので、実用化されたらまたブログで解説する予定です。

お願い

もし、感情データを用いた聞き手理解確認ソリューションにご興味をお持ちの企業様がいらっしゃいましたら、是非当社にお声がけ下さい。

以上