サービスサイエンスラボと感情解析テクノロジー

2021.04.02

コールセンター

テーマ：

音声感情解析レポート(第1回)

～サービスサイエンスラボと感情解析テクノロジー～

ESジャパン株式会社　ビジネス推進部課長　久保田啓介

2021年4月2日

概要．我々、ESジャパン株式会社(CENTRICグループ)は、コールセンター兼サービスサイエンスラボであるCENTRIC株式会社熊本支店で取得した感情データの分析を実践している。日々の顧客対応の音声を解析し取得した感情データとコールセンターで取得可能な付帯データとの関連性を分析し、これまで定量的に証明されてこなかったことを、感情を可視化することで、証明する試みを実践している。日々の応対データは蓄積中であり、研究材料は大量に存在する。第1回のレポート内容として、サービスサイエンスラボであるCENTRIC熊本支店で実現したいこと、感情解析テクノロジー及び弊社サービスESASについて記載している。感情を可視化した具体的な分析結果については、次回以降のレポートにて記載する。

１．サービスサイエンスラボ

企業と顧客の接点の一つとして、電話応対を行うコールセンターがある。コールセンターでは日々様々な顧客からの問い合わせに対する案内業務を行っており、その業務内容も多岐に渡る。例えば、通信販売商品の申し込み窓口では新規顧客からの受注を獲得し、既存顧客向けの総合案内窓口（カスタマーサポート）では商品の変更受付から解約希望者に対する継続案内など、幅広い内容を対応している。コールセンターは音声の宝庫である。

CENTRIC株式会社熊本支店では、顧客からの様々な問合せに対して、100名以上のオペレータが対応しており、日々大量の音声が蓄積されている。

そして、スーパーバイザー(以降、SVと記載)と呼ばれる現場管理担当者は、現場改善のために非常に多くの数値を日々管理している。

・　効率性/生産性　　(例：AHT/CPH）

・　応対品質管理　　(例：モニタリングスコア)

・　ワークフォースマネジメント　　(例:充足率/稼働率/占有率)

・　売上貢献指標管理　　(例：受注率/定期率/解約抑止率)

熊本支店の達成指標の一部として記載したが、従来のコールセンターには顧客やオペレータの心情を、客観的かつ定量的に評価できるデータ指標はない。応対品質に関する評価項目はあるものの、「SVの主観評価」になりがち、という課題がある。

そこで、従来のコールセンターでは顧客やオペレータの心情を「定量的」に把握できないか、と考え、導入したのが感情解析テクノロジーである。

コールセンターで定量的に取得できる付帯データを掛け合わせ、「数値化」された大量の感情データ(以下感情パラメータと記載)からオペレータ感情や顧客感情に関する複数の仮説立てを行い、証明する試みを実践している。

詳細は後述するが、熊本支店では弊社が開発したITソリューションESAS　CallCenter Serviceを導入し、本分析結果を元に、コールセンターのSVが得られた結果を活用できるよう検証を実践している。

２．感情解析テクノロジー

　2.1　LVAテクノロジー

弊社が取り扱う技術は、イスラエルのNemesysco社が提供する感情解析技術LVAテクノロジーを利用している。

LVAテクノロジーとはNemesysco社の基盤技術、脳皮質での知覚と事象の解釈は会話中の音声波形に現れてくるという考えに基づいており、人間が何を話しているかは無視し脳活動の変化が声に反映されることに注目する技術である。人間の発声メカニズムは人間の最も複雑な機構のひとつで、脳が時間をぴったりと合わせて多くの筋肉と身体器官を動作するように制御する。

人間の声はたくさんの周波数の組み合わせからなり、フォーマント(formant)と呼ばれる声道の共鳴周波数によって表現され、人によりフォーマント周波数帯域は異なる。（男性は通常100ヘルツから3000ヘルツ、女性は200ヘルツから6000ヘルツと言われている）

LVAテクノロジーは比較的高周波数領域（RHFR)と比較的低周波数領域(RLFR)で細かな変動をとらえて感情を分析する。RHFRは興奮状態及び感情的に覚醒している時に対応し、RLFRはストレス状態や認知過程に対応している。

話者のRHFR及びRLFRの時間的な変動状況及び発生頻度を独自の数学的モデルに基づき解析し、音声を媒体とした脳活動の証跡を検出し数値として出力。具体的には入力された音声の時間領域分析層、周波数領域分析層、主分析層、リスク分析層など13個の処理層を順次実行することにより解析し、最終的に全ての感情活動を要約した値を出力している。

これらの処理はNemesysco社が長年にわたり世界各地から収集したデータを用いて常時校正され、最新状態を保持しており特長は大きく以下の3点に要約される。

１）言語非依存

　　人間の脳活動の証跡を用いて感情を検出するため、会話している言語には基本的には依存しない。

２）人種・性別・年齢に非依存

　　話者のフォーマントを用いて校正し、その話者に特有の高周波領域と低周波領域を決めるため、人種・性別・年齢に依存しないで感情を解析することが可能。

３）話者の”Genuine emotion”を検出して数値化

　　音声は、『①文字で示すことができる情報』、『②意図的感情（パラ言語情報と言い俳優の演技による感情表出など随意的感情）』、『③話者の不随意感情』の３つの要素を伝えると言われており、Nemesysco社のテクノロジーはこのうち③を検出し数値化することが可能

　2.2　ESAS

ESAS（Emotional Signature Analysis Solution）とは、イスラエルのNemesysco社が提供する最新の感情解析エンジン『LVAテクノロジー』をベースに、国内で検証して得た知見を取り入れ、弊社ESジャパンが開発した、「音声」から「感情」を可視化するテクノロジーを使用するITソリューションである。

その中で、コールセンターに特化したサービスであるESAS CallCenter Serviceを熊本支店に導入している。主な特徴を以下に記載する。

　・　オペレータ/顧客双方の感情をリアルタイムで可視化することが可能

　・　約2秒毎にオペレータと顧客の感情データを取得することが可能

　・　音声と共にオペレータと顧客の感情推移感をモニタリングすることが可能

本分析は、ESASCoreエンジンにより音声から解析された感情パラメータと各コールセンターの達成指標との関連性を定量的に分析し、これまで定性的に表現されてきた感情を可視化し、最終的にはESASへ搭載し、運用現場の課題を解決することを目的としている。

　2.3　感情パラメータ

本分析に使用する感情パラメータを以下の表にて記載する。尚、本来ESASからは44種類の感情パラメータをデータとして取得できるが、今回は主な感情パラメータのみを抜粋している。