Polak potrafi, czyli KinecTranslator. Kinect jako tłumacz języka migowego

Twórcy Kinecta zapewne nie mieli pojęcia, jak wiele zastosowań znajdzie sprzęt zaprojektowany początkowo jako ruchowy kontroler konsoli gier wideo. Urządzenie sprawdziło się m.in. w satelitach, robotach czy jako sprzęt do mierzenia i poszukiwania przedmiotów. Na pomysł, jak wykorzystać możliwości Kinecta, wpadli również Polacy. Powstaje technologiczny przebój na miarę IVONY?

Twórcy Kinecta zapewne nie mieli pojęcia, jak wiele zastosowań znajdzie sprzęt zaprojektowany początkowo jako ruchowy kontroler konsoli gier wideo. Urządzenie sprawdziło się m.in. w satelitach, robotach czy jako sprzęt do mierzenia i poszukiwania przedmiotów. Na pomysł, jak wykorzystać możliwości Kinecta, wpadli również Polacy. Powstaje technologiczny przebój na miarę IVONY?

KinecTranslator to elektroniczny tłumacz korzystający z kamer Kinecta i technologii Leap Motion. Dzięki temu potrafi odczytać język migowy i przetłumaczyć go na tekst lub mowę. Co więcej, polskie rozwiązanie jest w stanie tłumaczyć również w drugą stronę – dzięki systemowi rozpoznawania mowy potrafi przełożyć wypowiadane słowa na język migowy za pomocą animowanego awatara.

Tłumacz języka migowego wyrósł z projektu Migam.pl, którego pomysłodawca – Przemek Kuśmierek – postawił wszystko na jedną kartę: rzucił dobrą pracę i zajął się tworzeniem technologii i produktów ułatwiających życie osobom niesłyszącym. Stworzony przez niego 12-osobowy zespół to specjaliści, wśród których poza programistami, grafikami czy kamerzystami są również eksperci od języka migowego i niesłyszący, jak Sławek Łuczywek, którzy najlepiej potrafią ocenić wartość przygotowywanych rozwiązań.

Co istotne, projekt okazał się na tyle ciekawy, że zainteresował się nim m.in. Microsoft, który w szerokim zakresie wspiera powstawanie tłumacza, udostępniając swoje zasoby i infrastrukturę. Ważnym instytucjonalnym partnerem jest także Państwowy Fundusz Rehabilitacji Osób Niepełnosprawnych. Projekt zdobył szereg branżowych nagród i jako zwycięzca pierwszej edycji Virgin Academy zwrócił uwagę samego Richarda Bransona:

Jak działa KinecTranslator? Jak wiele rewolucyjnych rozwiązań, daje się opisać w bardzo prosty sposób – na stronie projektu twórcy porównują jego działanie do analizowania zdjęć. W zależności od rozdzielczości dzieje się to z prędkością 12-30 klatek na sekundę. W takim tempie translator analizuje układ najważniejszych punktów ciała i klatka po klatce odczytuje wykonywane ruchy.

Co istotne, KinecTranslator jest w pełni konfigurowalny – warto pamiętać, że nie istnieje jeden międzynarodowy język migowy, dlatego możliwość przypisania gestom różnych znaczeń pozwala na stosowanie translatora na całym świecie. Pytany przeze mnie o plany na najbliższą przyszłość Przemek Kuśmierek zdradził, że trwają właśnie prace nad testową wersją tłumacza:

[cytat]Beta KinecTranslatora ma być gotowa w sierpniu i skorzystają z niej osoby, które wcześniej zgłosiły chęć udziału w testach (zainteresowani mogą zgłaszać swój udział na stronie projektu). Na tym etapie tłumacz będzie rozpoznawał 100 gestów. Docelowa wersja, przeznaczona na platformę PC ma się pojawić pod koniec bieżącego roku.[/cytat]

W budowaniu bazy tysięcy gestów w różnych językach pomogą sami użytkownicy – społeczność skupiona wokół projektu, dla której elektroniczny tłumacz może okazać się niebywałym ułatwieniem, pozwalającym na znacznie swobodniejszą komunikację. Możliwości KinecTranslatora nie kończą się jednak tylko na tłumaczeniu.

[cytat]Chcemy udostępnić funkcję nauczyciela języka migowego. Użytkownik będzie mógł ćwiczyć przed ekranem, a aplikacja wyłapie błędne gesty i wskaże, jak wykonać je poprawnie.[/cytat]

W obecnej postaci KinecTranslator ma działać na pecetach wyposażonych w Kinecta, jednak plany rozwoju sięgają znacznie dalej. Choć obecna dostępna w sprzęcie konsumenckim technologia na to nie pozwala, to w nieodległej przyszłości możemy spodziewać się odpowiedników Kinecta w telefonach komórkowych, których kamery zapewnią znacznie większe możliwości.

I właśnie w tym kierunku będzie rozwijał się tłumacz – docelowo ma być rozwiązaniem mobilnym, z którego będzie można skorzystać w każdej chwili dzięki zainstalowanej w smartfonie aplikacji. Przed twórcami KinecTranslatora jeszcze wiele pracy, ale wygląda na to, że ten innowacyjny projekt ma potencjał, by zostać polskim technologicznym przebojem, który – podobnie jak IVONA – stanie się w swojej branży punktem odniesienia i zdobędzie uznanie na całym świecie.