Każdy serwis Web 3.0 potrzebuje dwóch elementów: semantyki i społeczności. Zanim większość Internetu będzie dostępna w postaci grafu

powiązanych semantycznie zasobów i usług sieciowych, musimy przedsięwziąć wszelkie kroki, aby opublikować jak najwięcej istniejących danych w postaci semantyki. Warto zacząć od opublikowania istniejących słowników, tak aby inne zasoby i usługi sieciowe mogły z nich korzystać.

W jednym z poprzednich artykułów opisaliśmy standard SKOS, który umożliwia opis słowników w formacie RDF. W tym artykule przedstawimy projekt Open Vocabulary umożliwiający dostęp do słowników w formacie SKOS. Projekt ten dostarcza bibliotekę programistyczną w języku Java oraz usługę sieciową typu REST.

Projekt Open Vocabulary składa się z trzech modułów:

• Reprezentacji ogólnodostępnych i otwartych słowników w formacie SKOS/RDF.
• API w języku Java i standardzie REST umożliwiające dostęp, wyszukiwanie i przeglądanie słowników.
• Portal umożliwiający przeglądanie i przeszukiwanie słowników.

Słowniki w SKOS/RDF

Obecnie projekt OpenVocabulary.info udostępnia następujące słowniki:

• Taksonomie:
  • Polska Klasyfikacja Tematyczna (PKT)
  • Association for Computing Machinery (ACM)
  • Dewey Decimal Classification (DDC)
  • Library of Congress (LOC)
  • Universal Decimal Classification (UDC)
  • Open Directory Project Taxonomy (DMoz)
  • Polskie pojęcia zdefiniowane w Open Directory Project (DMoz - PL)
• Tezaurusy:
  • WordNet 2.0 Thesaurus - oryginalny słownik WordNet w wersji RDF/OWL rozszerzony o właściwości zdefiniowane w standardzie SKOS
  • OpenThesaurus (PL) - wersja SKOS/RDF polskiego tezaurusa wykorzystywanego w pakiecie OpenOffice

Reprezentacje SKOS/RDF dla wszystkich taksonomii (za wyjątkiem DMoz) zostały wygenerowane na postaci definicji dostępnej w postaci prostego pliku tekstowego. Taksonomie DMoz zostały wygenerowane na podstawie źródła w postaci zbliżonej do formatu RDF i rozszerzonej o właściwości zdefiniowane w standardzie SKOS. Podobnie, wersja RDF/OWL tezaurusa WordNet została rozszerzona o relacje zdefiniowane w SKOS.
Natomiast wersja SKOS/RDF polskiego słownika OpenThezaurus została stworzona od podstaw po przetworzeniu źródłowego dokumentu OpenThesaurus.

API Javy i API RESTowe

Projekt OpenVocabulary dostarcza bibliotekę Java, która umożliwia skorzystanie ze słowników, szczególnie w na platformie JEE. Biblioteka ta dostarcza:

• API Javy do zarządzania taksonomiami, tezaurusami i tagami przechowywanymi w repozytorium RDF (wykorzystywana jest biblioteka RDF2Go i baza Sesame 2)
• Dostęp do pełnotekstowego indeksu (korzystając z biblioteki Lucene) poprawiającego wyszukiwanie i dostęp do pojęć ze słowników projektu Open Vocabulary.
• API RESTowe, które umożliwia usługom sieciowym dostęp do repozytorium i pojęć słowników Open Vocabulary w formacie HTML, RDF i JSON.

REST API zostało przygotowane w oparciu o wytyczne promowane przez inicjatywę Linked Data initiative, o których napiszemy niedługo. Dodatkowymi usługami dostarczanymi przez Open Vocabulary są:

• Przegląd (ang. lookup) - dostarczane przez usługę w schemacie /vocabularis/lookup?uri= umożliwia dostęp do informacji o pojęciach ze słowników przechowywanych w bazie RDF, jednak zdefiniowanych w innej przestrzeni nazw niż ta w której dostępne są usługi biblioteki OpenVocabulary; przykładem takiego słownika może być WordNet.
• Wyszukiwanie (ang. search) - dostarczane przez usługę w schemacie /vocabularies/search?q=[&threshold=&size=] umożliwia wyszukiwanie w pełnotekstowym indeksie słowników, z możliwością określenia minimalnego progu (ang. threshold) podobieństwa oraz maksymalnej ilości wyników wyszukiwania.

Portal do przeglądania i przeszukiwania słowników

W ramach projektu Open Vocabulary zainstalowany został referencyjny portal http://www.openvocabulary.info/, który:

• umożliwia dostęp do pojęć ze wspieranych słowników w postaci HTML, RDF i JSON,
• dostarcza przeglądu możliwości API Javy, włącznie z dostępem do indeksu pełnotekstowego,
• dla zarejestrowanych użytkowników - umożliwia pobranie archiwów zawierających słowniki w formacie RDF oraz ich indeksy pełnotekstowe dla biblioteki Lucene.

[na podstawie: Linking Public Vocabularies – openvocabulary.info]

WordNet jest rozbudowanym tezaurusem dla języka angielskiego; stanowi on obszerną bazę leksykalną grupującą rzeczowniki, czasowniki, przymiotniki i przysłówki w zbiory synonimów (ang. synset) wyrażających odmienne znaczenia.

Zobaczymy jak działa domyślna usługa udostępniająca ten słownik online. Otwieramy link. Czarne literki, białe tło - jak na razie gorzej niż Web 1.0. Nie zrażamy się tym i wpisujemy najczęściej wyszukiwane słowo w Internecie czyli 'se...', to znaczy 'star', czyli gwiazda. Dostajemy listę z definicjami. Każda definicja lub znaczenie wyrażenia posiada swój identyfikator oraz składa się z synonimów o tym samym znaczeniu. Grupy synonimów są ze sobą połączone tworząc graf połączeń.

Przykład użycia słownika WordNet

Wyobraźmy sobie wyszukiwarkę internetową, która zamiast szukać wszystkich stron zawierających słowo gwiazda w dowolnej formie, w pierwszym kroku pyta nas o jaką gwiazdę nam chodzi - gwiazdę muzyki, czy gwiazdę na niebie. Wyobraźmy sobie system, który zamiast pytać nas o jakie znaczenie słowa nam chodzi, pobiera je z naszego profilu, w którym zapisane jest, że właśnie studiujemy astronomie. I to jest właśnie Web 3.0.

Zainteresowanych zapraszam na stronę projektu. Dowiecie się, że projekt jest opensource, oraz jest darmowy. Powstał kilka lat temu, i można go wykorzystywać jako bibliotekę w dowolnej aplikacji.

Oczywiście słowniki w języku angielskim są raczej mało przydatne do zastosowania w polskiej Sieci Semantycznej. Dlatego przy okazji warto też zwrócić uwagę na dwa projekty, których celem jest dostarczenie rozwiązań podobnych do WordNet ale dla innych języków europejskich: EuroWordNet oraz SłowoSieć (ang. plWordNet).

EuroWordNet dostarcza (a właściwie dostarczał, bo projekt jest zamknięty od prawie 10 lat) słowników dla kilku języków europejskich, takich jak Holenderski, Włoski, Hiszpański, Niemiecki, Francuski, Czeski i Estoński. Niestety korzystanie z bazy słownika nie jest darmowe, a jedyny interfejs WWW (podobny do tego jaki ma WordNet) zbudowany dla języka Hiszpańskiego nie jest już dostępny.

SłowoSieć jest budowana na Politechnice Wrocławskiej. Istnieje możliwość dostępu online do słownika podobnie jak dla WordNet. Niestety, w chwili pisania tego artykułu, słownik nie był jeszcze w pełni gotowy.

Zapytacie, czemu nigdy nie widzieliście systemu korzystającego z tego lub podobnego słownika. Do końca nie rozumiemy tego sami, ale mamy nadzieję zmienić to właśnie... teraz.

Google 2.0

WordNet jest niezwykle popularny w rozwiązaniach wymagających przetwarzania języka naturalnego oraz wszelkiego rodzaju wnioskowanie na posiadanej bazie opisów. Powstała nawet wersja RDF tego słownika, tak aby mógł być wykorzystany w systemach semantycznych. W następnym artykule przedstawimy w jaki sposób projekt OpenVocabulary.info udostępnia WordNet oraz inne słowniki dla rozwiązań semantycznych w postaci grafu RDF zgodnego ze standardem SKOS.