Aplikacja do fitness trackera rozpoznaje ton głosu i emocje rozmówcy

Aplikację stworzył zespół naukowców z prestiżowego Instytutu Technologicznego w Massachusetts (MIT), a badania są prowadzone w ramach Centrum Strategii i Innowacji Samsunga. Oprogramowanie zainstalowano na jego opasce Simband, mierzącej ruch, puls, ciśnienie i temperaturę skóry.

To pierwszy eksperyment mierzący nie tylko dane nt. aktywności, lecz również mowy: tonu i dynamiki głosu oraz użytego słownictwa. Analiza odbywa się bez przeszkód podczas naturalnej, swobodnej rozmowy.

Na podstawie zebranych danych werbalnych i fizjologicznych oprogramowanie określa ton rozmówcy w poszczególnych 5-sekundowych fragmentach wypowiedzi. Wykorzystując mechanizmy głębokiego uczenia, z 83-proc. dokładnością rozpoznaje go jako wesoły, smutny bądź neutralny.

Doświadczenie przeprowadzono na 31 rozmowach trwających kilka minut. Analizowały je dwa algorytmy: jeden określał nastrój podczas całej rozmowy, a drugi – w czasie jej poszczególnych, 5-sekundowych segmentów. Oprogramowanie trafnie rozpoznało dłuższe przerwy i monotoniczny wydźwięk głosu jako smutek, a wypowiedzi dynamiczne i ożywione jako radość.

Analogicznie zachował się przekład mowy i funkcji ciała: smutniejsze wypowiedzi zdradzała adekwatna reakcja układu krążenia i charakterystyczne gesty, jak np. ukrycie twarzy w dłoniach. Skuteczność algorytmu podczas eksperymentów przekroczyła wcześniejsze dokonania w tej dziedzinie o 7,5 proc.

Kolejnym etapem rozwoju projektu ma być poprawa dokładności i rozszerzenie zakresu rozpoznawania emocji o takie jak znużenie, napięcie czy ekscytacja. Model smutny-neutralny-wesoły ma być jedynie punktem wyjścia dla znacznie obszerniejszej analizy. W planach jest również wykorzystanie komercyjnie dostępnych urządzeń, takich jak Apple Watch.

Przyszłość tworzonego przez naukowców produktu ma istotnie ułatwić codzienne funkcjonowanie osobom cierpiącym na szereg specyficznych chorób. W pierwszej kolejności wymienia się zespół Aspergera, jednak wynalazek sprawdzi się także w innych zaburzeniach skutkujących niepoprawnym rozpoznawaniem emocji rozmówcy.

Choć twórcy urządzenia nie dzielą się takimi planami, możemy również wyobrazić sobie stosowanie tego rozwiązania w marketingu, dzięki czemu otrzymamy personalizowane reklamy, uwzględniające nasz nastrój. Jest ci smutno i źle? Oto najlepsza czekolada na świecie! Albo whisky. Masz dobry nastrój? Szybko, zrób datek na pomoc humanitarną. Możemy tylko wyobrazić sobie, jak bardzo skuteczny będzie taki przekaz.