Nasz blog
W jaki sposób sztuczna inteligencja uczy się klasyfikować teksty?
Automatyczna klasyfikacja tekstów polega na przydzielaniu ich do określonych kategorii przez system komputerowy. W przypadku niektórych zastosowań system sam decyduje, w jaki sposób określić kategorie (czy inaczej: klasy) tekstów. Jeśli na przykład człowiek chce pogrupować najnowsze newsy, a nie jest pewien, jakich tematów będą one dotyczyć, może zlecić systemowi sztucznej inteligencji ich podział na określoną liczbę (np. 10) klas. System grupuje wtedy newsy w taki sposób, aby w każdej z kategorii znalazły się te z nich, które posługują się podobnym słownictwem.
Jak odróżnić skuteczną sztuczną inteligencję od nieprzydatnej?
Sztuczna inteligencja (ang. Artificial Intelligence lub w skrócie: AI) to system komputerowy, którego zadaniem jest naśladowanie czynności wykonywanych przez człowieka.
Jak ocenić, czy system AI wykonuje swoje zadanie skutecznie? Na to pytanie postaram się odpowiedzieć w niniejszym wpisie..
W jaki sposób komputer analizuje wyrazy?
Analiza morfologiczna ma na celu określenie, jak zbudowany jest wyraz. Wynikiem takiej analizy może być na przykład stwierdzenie, że wyraz mercedesa składa się z rdzenia mercedes oraz końcówki a, która jest w języku polskim charakterystyczna dla przypadków dopełniacza i biernika rzeczowników rodzaju męskiego. Na podstawie tych informacji można wywnioskować, że wyraz mercedesa jest najpewniej dopełniaczem lub biernikiem rzeczownika o formie podstawowej mercedes.
Jak komputer czyta tekst?
W jaki sposób dziecko uczy się najczęściej czytania w swym ojczystym języku? Najpierw poznaje wszystkie symbole graficzne (litery, znaki interpunkcyjne, oznaczenia akcentów, itp.), za pomocą których zapisywana jest jego rodzima mowa. Następnie uczy się powiązań pomiędzy symbolami graficznymi a głoskami oraz łączenia głosek w wyrazy i frazy w miarę odczytu. Po jakimś czasie jest już w stanie jednym spojrzeniem oka ogarnąć nawet całe zdania.
Czy wyraz może być liczbą?
Koncepcja przedstawiania wyrazów czy złożonych z nich tekstów za pomocą liczb jest “stara jak świat”. W procesie szyfrowania teksty przekształcane są w ciągi liczb, natomiast podczas deszyfrowania, w sposób wiadomy tylko odbiorcy, dokonuje się operacji odwrotnej. Dzięki temu szyfrowana wiadomość nie dostanie się w niepowołane ręce. Podobno już w starożytnej Grecji stosowano narzędzia szyfrujące: “Wąski pasek pergaminu lub skóry nawijano na laskę, zapisując tekst wzdłuż niej na stykających się brzegach. Będący adresatem posiadacz laski o identycznej grubości mógł szybko odczytać tekst przesłania. W postaci rozwiniętej, z pozbawionymi sensu, rozrzuconymi literami nie miał żadnej wartości dla osoby niepowołanej; zrozumiały był jedynie dla właściwego odbiorcy, który dopasował go do swego wzorca.” (https://pl.wikipedia.org/wiki/Skytale).
Wyrażenia regularne, czyli jak znaleźć wiele igieł w stogu siana
Jedną z głównych zalet reprezentowania dokumentów w postaci cyfrowej jest łatwość wyszukiwania w nich wyrazów i fraz. W wersji papierowej księgi “Gra o tron” próba odnalezienia pierwszego wystąpienia imienia bohaterki Daenerys może przypominać “poszukiwanie igły w stogu siana”. A w wersji cyfrowej? Wystarczy użyć funkcji “Znajdź”. Równie łatwo jest zrealizować proces zastępowania – stosując globalnie polecenie “Zamień”, możemy na przykład wszystkie wystąpienia imienia Daenerys podmienić na pisownię Denerys.
Jak nauczyć komputer rozmawiania z człowiekiem?
Aby rozmowa z komputerem przypominała rozmowę z człowiekiem, komputer musi opanować cztery elementy dialogu:
- rozpoznawanie mowy,
- rozumienie języka,
- generowanie wypowiedzi,
- syntezę mowy.
NLP w Linuxie
Przyjęło się uważać, że przetwarzanie dokumentów tekstowych wymaga znajomości języka programowania wysokiego poziomu. Kilkanaście lat temu “wypadało” dobrze znać język Perl, natomiast dziś specjalista w tej dziedzinie “absolutnie musi” mieć opanowany język Python. Czy naprawdę jest to niezbędne?
W niniejszym wpisie pokażę, że nawet całkiem zaawansowane zadania związane z przetwarzaniem tekstu można łatwo i szybko wykonać bez znajomości ani jednego polecenia jakiegokolwiek języka programowania.
Zastosowanie metody regresji w NLP
W jednym z wcześniejszych wpisów na blogu omówiłem zadanie klasyfikacji, które polega na automatycznym określaniu, do jakiej klasy należy badany obiekt. System klasyfikacji przypisuje badanemu obiektowi etykietę klasy, przy czym liczba możliwych etykiet jest z góry określona.
Model języka
Model to reprezentacja jakiegoś bytu, która ułatwia operowanie nim. Model jest często miniaturą pewnego obiektu. W trakcie zabawy miniaturowym modelem samolotu dziecko może dołączyć skrzydła, doklejać albo też demontować różne elementy, np. może od modelu odłączyć silnik. W atlasie czy na globusie, które reprezentują Ziemię, możemy jednym pociągnięciem palca “pokonać” setki lub tysiące kilometrów. Jeśli z kolei chcemy obserwować ruch cząstek elementarnych, model atomu musi być znacznie większy od swego pierwowzoru. Model jako odwzorowanie jakiegoś bytu ułatwia nam poznanie i zrozumienie jego całości, od ogółu do szczegółów.
NLP – co to jest i do czego się przydaje?
Język naturalny to język, którym komunikują się ludzie między sobą (np. język polski, język angielski itp.) – w przeciwieństwie, przykładowo, do języka programowania (np. Java, Python itp.), który służy do zlecania komputerowi zadań przez człowieka.
Historia tłumaczenia automatycznego w pigułce
Poprawne tłumaczenie z jednego języka na drugi wymaga wiedzy i kompetencji wykształconego człowieka, dlatego tłumaczenie automatyczne traktowane jest jako zadanie wchodzące w obszar działania sztucznej inteligencji.
Jak ocenić jakość tłumaczenia automatycznego?
Jak odpowiedzieć na pytanie, czy system tłumaczenia automatycznego spełnia swoje zadanie, czyli tłumaczy teksty poprawnie, zachowując znaczenie oryginału? Jak porównać jakość dwóch systemów translacji, by wybrać do swych potrzeb ten lepszy? Na te pytania postaram się odpowiedzieć na niniejszym blogu.
Rozwiązania edukacyjne online – najważniejsze elementy
Kształcenie zdalne przez internet czy intranet (ang. Web-Based Training lub WBT) nieustannie zyskuje na popularności. W epoce koronawirusa stało się ono wręcz koniecznością.
Przyjrzyjmy się zatem pokrótce elementom, które wchodzą zazwyczaj w skład platformy edukacji zdalnej.
