NEKST – nowa, polska wyszukiwarka. Aby miała sens, technologia musi stać się produktem

Polska wyszukiwarka oparta na autorskich, zoptymalizowanych pod kątem lokalnego użytkownika algorytmach? W erze dominacji Google’a brzmi to niesamowicie, ale już niebawem może być faktem. Polscy naukowcy pracują nad lokalną wyszukiwarką, która z obsługą polskich internautów poradzi sobie lepiej niż światowi liderzy.

TL;DR:

Polscy naukowcy opracowują nową wyszukiwarkę, która lepiej niż Google poradzi sobie z obsługą polskich dokumentów. Lokalna usługa prezentuje się bardzo obiecująco, a lista jej możliwości obejmuje m.in. rozpoznawanie znaczenia wyrazów czy zaangażowania emocjonalnego. Kluczem do sukcesu jest jednak nie tyle sama technologia, ale pomysł, jak przekształcić ja w powszechnie używany produkt.

Co robimy, gdy szukamy czegoś w Sieci? Z reguły bez zastanowienia wpisujemy mniej lub bardziej precyzyjne pytanie w odpowiednim polu aplikacji, ta przesyła pytanie do Google’a lub rzadziej Binga i wypluwa listę odpowiedzi.

I choć podsuwany nam przez wyszukiwarki wykaz linków może być daleki od obiektywizmu (więcej na ten temat znajdziecie w artykule „Internet: konserwator biedy. Zabójcze skutki personalizacji”), to przyzwyczailiśmy się do Google’a i chyba jest nam z tym dobrze, bo raczej nie szukamy alternatyw (dajcie znać w komentarzach, jeśli korzystacie z innych wyszukiwarek).

Tak jest w większości państw na świecie, z nielicznymi (a gdy policzymy użytkowników, całkiem licznymi) wyjątkami, jak Rosja czy Chiny.

Problem polega na tym, że Google nie jest zoptymalizowany pod kątem polskiego użytkownika. Oczywiście ma wiele opcji personalizacji i wydaje się całkiem nieźle rozumieć zadawane po polsku pytania, jednak daleko mu w tej kwestii do doskonałości. I raczej nieprędko się to zmieni, bo z punktu widzenia globalnych firm Polska jest przecież mało znaczącym rynkiem.

W rezultacie – według szacunków Polskiej Akademii Nauk – Google indeksuje mniej więcej jedną piątą z miliarda dostępnych w Sieci polskich dokumentów. Na co dzień większość z nas tego nie dostrzega, jednak w praktyce 80 proc. treści w języku polskim jest niedostępnych z poziomu wyszukiwarki!

Efektem tego jest niezagospodarowana na razie nisza. Chcą ją wypełnić naukowcy z Instytutu Podstaw Informatyki PAN w Warszawie i Politechniki Wrocławskiej, którzy pracują nad nową, polską wyszukiwarką o nazwie NEKST.

Warto w tym miejscu zauważyć, że nie jest to pierwsza tego typu próba. Polskie wyszukiwarki internetowe mają bowiem całkiem długą historię: od archaicznego Emulti, poprzez tworzone w latach 90. NEToskop i Sieciowid, po wyszukiwarkę NetSprint i działającego do niedawna (i miło przeze mnie wspominanego) Szukacza.

To wszystko jest jednak historią. W praktyce polski Internet łącznie z wyszukiwarkami największych portali to monokultura Google’a z nieśmiało upominającym się o swoje Bingiem. Polska wyszukiwarka ma ambicje, by to zmienić. W jaki sposób? Tak o swoim dziele piszą twórcy NEKST-a:

Celem projektu jest konstrukcja systemu wspomagającego rozwiązywanie szerokiej klasy problemów w oparciu o analizę struktury i treści dostępnych dokumentów elektronicznych. Analiza ma dotyczyć zawartej w dokumentach wiedzy i informacji reprezentowanej w postaci tekstu oraz wybranych elementów multimedialnych. System będzie łączył mechanizmy: automatycznej odpowiedzi na zadane w języku polskim pytania, automatycznej analizy opinii oraz wielkoskalowej, przekrojowej analizy semantycznej źródeł elektronicznych, połączonej z wyszukiwaniem i wizualizacją wyników. Głównym obiektem analizy będą dokumenty tekstowe.

Kluczem do sukcesu ma być skupienie się na polskojęzycznych treściach i zindeksowanie tych dokumentów, których nie dostrzega Google. Twórcy wyszukiwarki udostępnili listę zadań, które muszą zostać wykonane przed uruchomieniem wyszukiwarki. Jest to zarazem skrótowe przedstawienie jej możliwości:

Co ciekawego wynika z powyższego wykazu? Okazuje się, że NEKST nie będzie tępą maszyną, przeszukującą dokumenty po słowach kluczowych, ale czymś znacznie bardziej finezyjnym. Algorytm wyszukiwarki ma m.in. rozumieć analizowaną treść i rozróżniać na podstawie kontekstu znaczenie słów takich, jak np. wywrotka (upadek i samochód ciężarowy) czy klapa (porażka, pokrywa na zawiasach i część skrzydła).

Inną umiejętnością będzie analiza opinii, co pozwoli oddzielić warte uwagi treści od internetowego szamba, w którym taplają się komentujący w serwisach horyzontalnych. Co więcej, NEKST ma odpowiadać nie tylko na typowe zapytania w postaci odpowiednio dobranych fraz, ale też pozwoli na zadawanie pytań językiem naturalnym, tak jak robimy to podczas zwykłej rozmowy.

Algorytm wyszukiwarki ma rozumieć, jakiego zagadnienia dotyczy dany dokument. Dzięki temu użytkownik, który zada pytanie, dostanie w odpowiedzi nie tylko – jak w Google’u – link, ale też otrzyma wskazówkę z zaznaczonym fragmentem dokumentu, najlepiej odpowiadającym na zadane pytanie.

Wyszukiwarka NEKST to przedsięwzięcie wyjątkowe. Jeśli wszystko pójdzie zgonie z harmonogramem, polska wyszukiwarka będzie w Europie pierwszą tego typu tak dużą usługą opracowaną z uwzględnieniem specyfiki lokalnego języka. Co istotne, jej zasoby będą również dostępne dla użytkowników zadających pytania po niemiecku i angielsku.

NEKST już częściowo działa. Nie jest jeszcze dostępny publicznie, ale NekstBOT, czyli robot indeksujący treści w Internecie, przeczesuje już Sieć w poszukiwaniu polskich dokumentów. Do tej pory udało się zindeksować około 16 proc. treści, które po skompresowaniu zajmują skromne 3 terabajty.

Do czerwca baza wyszukiwarki ma zawierać około połowy dostępnych w Sieci polskich dokumentów i wówczas NEKST zostanie udostępniony publicznie. Przyznam, że nie mogę się doczekać pierwszych testów.

Tym, co wywołuje mój niepokój, jest brak konkretnych informacji na temat tego, w jaki sposób NEKST ma funkcjonować i zarabiać na siebie. Kluczem jest spostrzeżenie, którym w jednym z wywiadów podzielił się Jaromir Działo – Polak będący partnerem zarządzającym w funduszu Status Venture, który działa w Dolinie Krzemowej.

Chodzi o przekształcenie ciekawej technologii w produkt. Sama technologia, choć może budzić podziw i uznanie, jest bowiem w wielu przypadkach zupełnie bez znaczenia. Co z tego, że według twórców jest przełomowa i wspaniała, skoro nikt z niej nie korzysta?

Doskonałym przykładem może być tu historia Google’a. Choć Sergey i Larry mieli świetną technologię, a ich wyszukiwarka szybko zdobywała użytkowników, dopiero Eric Schmidt zmienił studencki projekt w produkt, który był w stanie zarobić na swój dalszy rozwój i ekspansję.

Mam nadzieję, że NEKST również znajdzie swojego Erica Schmidta. Bez tego, mimo medialnych zachwytów i sporego zainteresowania, pozostanie jedynie jednym z wielu uczelnianych projektów, który po zakończeniu finansowania ze środków Unii Europejskiej przestanie kogokolwiek - poza garstką twórców - interesować. Mam jednak nadzieję, że tak się to nie skończy.

A my zamiast pytać Google’a, zaczniemy coraz częściej korzystać z odpowiedzi udzielanych przez NEKST-a. Nie dlatego, że to fajna ciekawostka, ani nie z poczucia patriotyzmu, tylko dlatego, że polska wyszukiwarka będzie po prostu najlepsza. Czego w tym miejscu zarówno jej twórcom, jak i nam, potencjalnym użytkownikom, szczerze życzę.