Aplikacja do fitness trackera rozpoznaje ton głosu i emocje rozmówcy
Naukowcy tworzą technologię, która z rozmowy wychwyci znacznie więcej niż słowa. Innowacyjna aplikacja w sportowej opasce może bowiem odgadnąć, w jakim nastroju jest rozmówca. W jakich zastosowaniach ma się sprawdzić?
Dynamiczna analiza głosu
Aplikację stworzył zespół naukowców z prestiżowego Instytutu Technologicznego w Massachusetts (MIT), a badania są prowadzone w ramach Centrum Strategii i Innowacji Samsunga. Oprogramowanie zainstalowano na jego opasce Simband, mierzącej ruch, puls, ciśnienie i temperaturę skóry.
To pierwszy eksperyment mierzący nie tylko dane nt. aktywności, lecz również mowy: tonu i dynamiki głosu oraz użytego słownictwa. Analiza odbywa się bez przeszkód podczas naturalnej, swobodnej rozmowy.
Potwierdzona eksperymentalnie precyzja wskazań
Na podstawie zebranych danych werbalnych i fizjologicznych oprogramowanie określa ton rozmówcy w poszczególnych 5-sekundowych fragmentach wypowiedzi. Wykorzystując mechanizmy głębokiego uczenia, z 83-proc. dokładnością rozpoznaje go jako wesoły, smutny bądź neutralny.
Doświadczenie przeprowadzono na 31 rozmowach trwających kilka minut. Analizowały je dwa algorytmy: jeden określał nastrój podczas całej rozmowy, a drugi – w czasie jej poszczególnych, 5-sekundowych segmentów. Oprogramowanie trafnie rozpoznało dłuższe przerwy i monotoniczny wydźwięk głosu jako smutek, a wypowiedzi dynamiczne i ożywione jako radość.
Analogicznie zachował się przekład mowy i funkcji ciała: smutniejsze wypowiedzi zdradzała adekwatna reakcja układu krążenia i charakterystyczne gesty, jak np. ukrycie twarzy w dłoniach. Skuteczność algorytmu podczas eksperymentów przekroczyła wcześniejsze dokonania w tej dziedzinie o 7,5 proc.
Niwelowanie skutków zaburzeń i chorób
Kolejnym etapem rozwoju projektu ma być poprawa dokładności i rozszerzenie zakresu rozpoznawania emocji o takie jak znużenie, napięcie czy ekscytacja. Model smutny-neutralny-wesoły ma być jedynie punktem wyjścia dla znacznie obszerniejszej analizy. W planach jest również wykorzystanie komercyjnie dostępnych urządzeń, takich jak Apple Watch.
Przyszłość tworzonego przez naukowców produktu ma istotnie ułatwić codzienne funkcjonowanie osobom cierpiącym na szereg specyficznych chorób. W pierwszej kolejności wymienia się zespół Aspergera, jednak wynalazek sprawdzi się także w innych zaburzeniach skutkujących niepoprawnym rozpoznawaniem emocji rozmówcy.
Choć twórcy urządzenia nie dzielą się takimi planami, możemy również wyobrazić sobie stosowanie tego rozwiązania w marketingu, dzięki czemu otrzymamy personalizowane reklamy, uwzględniające nasz nastrój. Jest ci smutno i źle? Oto najlepsza czekolada na świecie! Albo whisky. Masz dobry nastrój? Szybko, zrób datek na pomoc humanitarną. Możemy tylko wyobrazić sobie, jak bardzo skuteczny będzie taki przekaz.