Zrozumienie przetwarzania języka naturalnego

Strony internetowe i aplikacje mogą mieć różne ruchome części, w tym frontowe przetwarzanie, przetwarzanie po stronie serwera, API i przechowywania danych. AI może podłączyć dowolne z tych komponentów.

Na przednim końcu można połączyć polecenia głosowe, interfejsy chatbot lub reaktywne kreatywne elementy Webgl. Na tylnym końcu bazy danych używają inteligentnych algorytmów, aby zmaksymalizować szybkość i analizę. API mogą zapewnić warstwę abstrakcji z szerokiej gamy funkcji AI, od przewidywania do szkolenia zbiorowego.

Jeśli po prostu zaczynasz jako deweloper i potrzebujesz wskaźników, dowiedz się Jak zrobić aplikację lub możemy pomóc Ci wybrać Kreator strony internetowej , hosting obsługa i. magazyn w chmurze używać.

• Chatbots: Co musisz wiedzieć.

Język naturalny

Przetwarzanie języka naturalnego (NLP) koncentruje się na interakcjach między maszynami a językami ludzkimi. Jest to cel NLP do przetwarzania i przeanalizowania ogromnych ilości danych językowych w celu poprawy naturalnej komunikacji między ludźmi i maszynami. To pole AI obejmuje rozpoznawanie mowy, zrozumienie języka i generowania języka naturalnego. Naszym skupieniem będzie zrozumienie języka naturalnego, procesu analizy i określenia znaczenia lub intencji tekstu.

Istnieje kilka koncepcji wspólnych dla NLP:

• Język wykrywania - Zrozumienie, który język jest używany w tekście ma zasadnicze znaczenie dla znajomości, które słowniki, składni i reguły gramatyczne w analizie.
• Ekstrakcja jednostki - Identyfikowanie kluczowych słów w frazach, jak istotne lub widoczne są one ogólny tekst i określenie, co są podmiotami, oparte na szkoleniach lub bazach wiedzy.
• Analiza sentymentu - Ocena ogólnego poziomu "uczucia" w tekście. Czy jest ogólnie pozytywny lub negatywny? Również sentyment związany z każdym podmiotem. Czy oświadczenie odzwierciedla pozytywne uczucia lub negatywny wpływ na "przedmiot"?
• Analiza składniowa - Zrozumienie struktury tekstu. Określ atrybuty, takie jak zdania, części mowy (E.g. rzeczownik, czasownik), głos, płeć, nastrój i napięty.
• Klasyfikacja treści lub kategoryzacja - organizowanie treści tekstu do wspólnych kategorii do bardziej wydajnego przetwarzania. Na przykład Nowy Jork, Londyn, Paryż, Monachium są wszystkie "lokalizacje" lub "miasta".

Istnieje wiele podejść technicznych do analizowania i przetwarzania danych. Niezależnie od tego, czego używasz narzędzia NLP, będziesz musiał rozwiązać wspólne kroki analizy i analizy. Zazwyczaj tekst jest oddzielony na logiczne kawałki. Kawałki te są analizowane na przeszkolonych bazach lub bazach wiedzy oraz przypisanych wartościach, zwykle od 0,0 do 1,0 w celu odzwierciedlenia poziomu zaufania do analizy.

API język naturalny Google

Będziemy korzystać z nowego interfejsu API języka naturalnego opracowanego przez Google dla tego samouczka. Istnieje wiele dostępnych interfejsów API, ale Google ma jakieś miłe zalety, w tym przetwarzanie w chmurze, szybkość, niezwykle dużą bazę użytkownika i ucząca się maszynową. Wyszukiwarki Google i narzędzia wykorzystują AI od lat. Więc wykorzystujesz wszystkie te doświadczenie i uczenie się, korzystając z usług publicznych.

API łatwo włączyć do każdego projektu. Oszczędza to dużo czasu w porównaniu z ręcznie kodującym własny NLP. Jego abstrakcyjnym spokojnym API umożliwia integrację z niemal dowolnym językiem, który życzysz wspólnych połączeń Curl lub jeden z licznych dostępnych SDK. Istnieje kilka sztuczek, aby skonfigurować, ale pracujemy przez nią jeden krok na raz.

Kliknij ikonę w prawym górnym rogu obrazu, aby go powiększyć.

01. Utwórz nowy projekt Cloud Google

Idź do Konsola Platformy Google Cloud i utwórz nowy projekt lub wybrać istniejący do pracy. Usługa jest bezpłatna do użycia, aż zaczniesz dokonać dużej ilości żądań API. Być może będziesz musiał skojarzyć informacje o rachunku z kontem, gdy aktywujesz API, ale nie jest to obciążone przy niskiej głośności i możesz usunąć usługi po zakończeniu testowania, jeśli chcesz.

02. Włącz chmurę NL

Przeglądaj do Biblioteka API. i wybierz API NL. Po włączeniu powinieneś zobaczyć trochę zielonego czeku, a komunikat "API włączony" obok niego.

03. Utwórz konto serwisowe

Musisz skonfigurować Konto serwisowe Dla tej usługi. Ponieważ zamierzamy ustawić użycie jak typowa usługa, jest to najlepsza praktyka. Działa również najlepiej z przepływem uwierzytelniania.

04. Pobierz klucz prywatny

Po otrzymaniu projektu z włączonym API i kontem serwisowym można pobrać klucz prywatny jako plik JSON. Zwróć uwagę na lokalizację pliku, dzięki czemu można go użyć w następnych krokach.

Jeśli masz jakieś problemy z pierwszymi krokami, jest przewodnik tutaj To pomaga, która kończy się pobraniem klucza JSON.

05. Ustaw zmienną środowiskową

Następnie musisz ustawić Google_application_credentials. Zmienna środowiskowa, więc można uzyskać dostęp do naszych połączeń API. Wskazuje to do pliku JSON, który właśnie pobrałeś i oszczędza, że ​​musisz wpisać ścieżkę za każdym razem. Otwórz nowe okno Terminal i użyj polecenia Eksportuj, tak jak:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Zastąpić [Nazwa pliku] Z plikiem klucza prywatnego i użyj ścieżki do swojego pliku.

W systemie Windows możesz zrobić to samo za pośrednictwem linii poleceń, tak jak:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Uwaga: Jeśli zamkniesz okno terminalu lub konsoli, może być konieczne uruchomienie ponownie, aby ustawić zmienną.

06. Zadzwoń do API

Teraz jesteś gotowy do kopania w użyciu API i zobacz NLP w akcji. Użyjesz Curl do wykonania szybkich testów API. Możesz także użyć tej metody z kodu.

Wnioski Curl można wykonać w większości języków, co oznacza, że ​​można dokonać połączeń bezpośrednich w wierszu poleceń lub przypisać wynik do zmiennej w wybranym języku. Popatrz tutaj dla niektórych szybkich wskazówek na temat używania Curl.

Spróbujmy żądać testu, z prostym zdaniem. Uruchomimy to przez analizy punkt końcowy.

W interfejsie terminalu lub wiersza poleceń wprowadź następujące polecenie:

 Post Curl -X
     -H "Autoryzacja: na okaziciela" $ (Gcloud Auth Application-Deprit-Access-Token)
     -H "Typ treści: Aplikacja / JSON; Charset = UTF-8" \ \
     --data "{
  'dokument':{
    "Typ": "Plain_Text",
    "Treść": "John McCarthy jest jednym z założycielskich ojców sztucznej inteligencji".
  },
  "EncodingType": "UTF8"
} "" https://language.googleapis.com/v1/documents:analizeENTITITITE"

Powinieneś zobaczyć wynik JSON po wykonaniu. Możesz uzyskać monitę przy pierwszym użyciu tego, aby aktywować API lub zezwolić na dostęp. Możesz odpowiedzieć "tak" lub "y" do tego szybkiego i powinien zwrócić JSON po tym.

Zwróci tablicę wpisów, podobnych do tych, takich jak pierwsze dla wpisu "John McCarthy".

 {
      "Nazwa": "John McCarthy",
      "Wpisz": "osoba",
      "Metadata": {
        "Wikipedia_url": "https://pl.wikipedia.org/wiki/John_mccarthy_(computer_scientist)",
        "MID": "/ m / 01SVFJ"
      },
      "SENICE": 0,40979216,
      "Wspomentowanie": [
        {
          "Tekst": {
            "Treść": "John McCarthy",
            "Backoffset": 0
          },
          "Wpisz": "właściwy"
        }
      ]
    }, 

Uwaga: Możesz użyć adresu URL zamiast treści tekstu w parametrze zawartości oświadczenia Curl.

Możesz zobaczyć na liście podmiotów próbki, The Nazwa zidentyfikowany i rodzaj , który ustalona AI jest OSOBA . Znalazłem również mecz wikipedii do Nazwa i zwrócił to. Może to być przydatne, ponieważ można użyć tego adresu URL jako treści na drugą prośbę do API i uzyskać jeszcze więcej podmiotów i informacji na ten temat. Możesz także zobaczyć występ Wartość o 0,4, co wskazuje na znaczne znaczenie podmiotu w kontekście dostarczonego tekstu. Możesz również zobaczyć, że jest prawidłowo zidentyfikowany jako WŁAŚCIWY , co odnosi się do typu rzeczownika (właściwego rzeczownika), a także ile zdarzeń (wspomina) jednostki w tekście.

API zwróci wartości dla wszystkich kluczowych podmiotów w przesłaniu tekstu. Tylko to może być bardzo przydatne do przetwarzania tego, co użytkownik może komunikować się z aplikacją. Niezależnie od tego, co zdanie zawarte, istnieje duża szansa dotyczy osoby, Johna McCarthy i moglibyśmy spojrzeć na pewne informacje dla użytkownika na podstawie tego samego. Moglibyśmy również odpowiedzieć w sposób, który odzwierciedla nasze zrozumienie tego oświadczenia odnosi się do osoby.

Możesz używać tej metody, aby przetestować połączenia, których użyjemy. Możesz także skonfigurować lokalny SDK w wolisz i całkowitą liczbę całkowitą.

07. Zainstaluj bibliotekę klienta

Czas zrobić prostą aplikację internetową, aby zademonstrować, jak zintegrować API w projekty.

W przypadku aplikacji NLP powszechne jest użycie Pythona lub węzła. Aby pokazać wszechstronność korzystania z API, użyjemy PHP SDK. Jeśli chcesz dostosować kod do innego języka, jest świetny zasób SDK tutaj .

Zacznij od upewnienia się, że masz folder projektu skonfigurowany na lokalnym lub zdalnym serwerze. Jeśli go nie masz, zdobądź kompozytora i zainstaluj do folderu projektu. Możesz mieć kompozytor już zainstalowany na całym świecie i to też jest w porządku.

Uruchom następujące polecenie kompozytora, aby zainstalować pliki dostawcy do projektu:

 PHP -R "Kopiuj (" https:///getcomposer.org/installer "," kompozytor-setup.php ");"
PHP -R "IF (Hash_file (" Sha384 "," kompozytor-setup.php ") === '93B544962C06277467 0C18B134C3B3A97E5A5E5 C8F1A9F115F203B75BF9A129D5 DAA8BA6A13E2CCC8A1DA080 638A8') {Echo 'Installer Verified';} Else {Echo 'Installer Corrupt'; Unlink (" kompozytor-setup.php ');} echo php_eol; "
PHP Composer-Setup.php
PHP -R "UNLINK (" kompozytor-setup.php ");"
PHP Composer.phar wymaga Google / Cloud Język 

Kompozytor tworzy folder dostawcy w folderze projektu i instaluje wszystkie zależności dla Ciebie.

Jeśli utkwiasz ustawienie tego i chcesz użyć PHP, możesz sprawdzić ten zasób Instalowanie kompozytora .

08. Utwórz nowy plik

Jeśli podążasz w PHP, utwórz nowy plik PHP w folderze projektu. Ustaw go, jak chcesz, ale zawiera prosty formularz HTML, aby szybko przesłać tekst.

Oto przykładowy plik PHP z formularzem:

! DocType HTML & GT;
& lt; html & gt;
& lt; Head & GT;
& lt; titorial & gt; Net - NLP Tutorial & LT; / Title & GT;
& LT; / Head & GT;
& lt; body & gt;
& lt; Form & GT;
& LT; P & LT; & LT; TYPU WEJŚCIA = "Tekst" ID = "Treść" Nazwa = "Treść" Placeholder = "Co mogę przeanalizować?" / & gt; & lt; / p & gt;
& LT; P & LT; & LT; Typ wejściowy = "Prześlij" Nazwa = "Prześlij" Id = "Prześlij" Value = 'Analeze' & LT; / P & GT;
& LT; / Form & GT;
& lt; div class = "wyniki" & gt;
& lt;? php
// kod PHP idzie tutaj //
Jeśli (pusty ($ _ Get ['Content'])) {Die (); }
$ Content = $ _get ['Content'];
?
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Kod zawiera podstawowy plik HTML z formą, wraz z zastępczem kodu PHP. Kod rozpoczyna się od po prostu sprawdzanie istnienia zmiennej treści (przesłanej z formularza). Jeśli jeszcze nie zostanie przesłany, po prostu wyjść i nic nie robi.

09. Zrób zmienną środowiskową

Podobnie jak do kroku, który wcześniej zrobiliśmy, gdy używamy połączenia Linia Command Curl, musimy ustawić Google_application_credentials. zmienna. Jest to niezbędne do uzyskania go do uwierzytelnienia.

W PHP używamy putenv. polecenie ustawić zmienną środowiskową. Uwierzytelnianie utworzone przez SDK wygasa, więc musisz włączyć to w swoim kodzie, aby go chwycić i ustawić go za każdym razem.

Dodaj ten kod następnie w swoim kodzie PHP:

 Putenv ('Google_Application_Credentials = / Użytkownicy / Richardmattka / Downloads / NLP Tutorial 1-1027228343dc.json'); 

Wymień ścieżkę i nazwę pliku, jak zrobiłeś wcześniej z własnym.

10. Zainicjuj bibliotekę

Następnie dodaj bibliotekę i zainicjuj LanguageClient. klasa w swoim kodzie. Dodaj ten kod obok sekcji Kod PHP:

 Wymagaj __dir__. "/vendor/autoload.php";
Użyj Google Cloud LanguageClient;
$ projectID = 'nlp-tutorial-1-1543506531329';
$ Język = Nowy LanguageCientient ([
    "rzutno" = & gt; $ PROCITID.
]); 

Zacznij od wymagania autolaku dostawcy. Jest podobny do Pythona lub węzła, jeśli potrzebujesz swoich zależności. Importuj LanguageClient. Następnie, aby skorzystać z klasy. Zdefiniuj swój rzutnik. . Jeśli nie jesteś pewien, co to jest, możesz obejrzeć go w konsoli GCP, gdzie pierwotnie skonfigurowałeś projekt. Wreszcie, stwórz nowy LanguageClient. obiekt za pomocą Twojego rzutnik. i przypisz go do $ Język zmienna.

11. Przeanalizuj podmioty

Teraz jesteś gotowy, aby zacząć korzystać z interfejsu API NLP w swoim kodzie. Możesz przesłać treść z formularza do API i uzyskać wynik. Na razie wystarczy wyświetlić wynik jako JSON na ekran. W praktyce możesz ocenić wyniki i użyć ich jakikolwiek sposób. Możesz odpowiedzieć użytkownikowi na podstawie wyników, przejrzyj więcej informacji lub wykonać zadania.

Do podsumowania analiza jednostki zwróci informacje o "co" lub "rzeczach" znalezionych w tekście.

 $ Wynik = $ Language- & GT; analizy ($ treści);
Foreach ($ Rest-& GT; podmioty () jako $ e) {
echo "° C:" Wynik "i GT;";
$ wynik = json_ence ($ e, json_pretty_print);
echo $ wynik;
echo "

Kod ten przesyła treść z złożonego formularza do analizy punkt końcowy i przechowuje wynik w $ wynik zmienna. Wtedy jesteś iterate na listę podmiotów wrócił $ Wynik- & GT; podmioty () . Aby go trochę odczytać, możesz sformatować go jako JSON przed wyprowadzeniem do ekranu. Ponownie, jest to tylko przykład, aby pokazać, jak go używać. Możesz go przetworzyć i reagować na wyniki, których potrzebujesz.

12. Przeanalizuj sentyment

Zamiast wiedzieć "co" treści, może być również cenne, aby poznać nastroje. Jak wygląda użytkownik? Jak się czują o podmiotach w ich komunikacji?

Zaktualizuj kod, aby użyć AnalozeentitySentimentime. punkt końcowy. Pozwoli to ocenić zarówno podmioty jak wcześniej, ale także zwróci wynik sentymentu dla każdego.

 $ Wynik = $ Language- & GT; AnalzeentitySentimentimentime ($ Content);

Foreach ($ Rest-& GT; podmioty () jako $ e) {
echo "° C:" Wynik "i GT;";
$ wynik = json_ence ($ e, json_pretty_print);
echo $ wynik;
echo "

Testowanie z treścią za pośrednictwem formularza "Gwiezdne wojny jest najlepszym filmem wszechczasów.", Zobaczysz wynik podobny do tego:

 {"Nazwa": "Star Wars", "Typ": "Work_of_art", "Metadane": {"MID": "/ M / 06mmr", "Wikipedia_url": "HTTPS: \ / en.Wikipedia.org / Wiki / Star_wars "}," Sentujący ": 0.63493526," wspomina ": [{" Tekst ": {" Content ":" Star Wars "," Backoffet ": 0}," Typ ": : "Właściwe", "sentyment": {"MAGAŻKA": 0,6, "Wynik": 0,6}}], "Sentyment": {"Wielkość": 0,6, "wynik": 0,6}}
{"Nazwa": "Film", "Wpisz": "Work_of_art", "Metadane": [], "Sentuje": 0.36506474, "wspomina": [{"Tekst": {"Treść": "Film", " Backoffet ": 22}," Typ ":" Wspólny "," Sentyment ": {" Wielkość ": 0,9," wynik ": 0,9}}]," Sentyment ": {" Wielkość ": 0.9," Wynik ": 0.9 }} 

Pokazuje to pozytywne wyniki nastrojów o znaczącej wartości. Nie tylko znasz teraz kluczowe słowa, które użytkownik komunikuje, ale także jak się o tym czują. Twoja aplikacja może odpowiedzieć odpowiednio na podstawie tych danych. Masz jasną identyfikację "Gwiezdnych wojen" jako podstawowego przedmiotu o wysokiej wartości. Masz link Wikipedia, aby chwycić więcej informacji, jeśli chcesz uruchomić ten adres URL z powrotem przez to samo połączenie API. Wiesz, że użytkownik czuje się o tym pozytywny. Możesz nawet zobaczyć oświadczenie ożywa pozytywny sentyment na jakości jako filmu. Bardzo fajny.

Rozstanie myśli

Spróbuj eksperymentować z innymi punktami końcowymi. W szczególności sprawdź analizesyntax. i ClassifyText. punkty końcowe. Dają ci jeszcze więcej części danych mowy i klasyfikacji podmiotów treści.

Ten artykuł został pierwotnie opublikowany w wydaniu 315 netto , Najlepiej sprzedający się magazyn na świecie dla projektantów stron internetowych i programistów. Kup problem 315 tutaj lub Subskrybuj tutaj .

Powiązane artykuły:

• 7 Ogromne trendy techniczne, które projektanci muszą teraz wiedzieć
• Jak zaprojektować doświadczenie chatbot
• 5 Tricks konwersji kontroli