A természetes nyelvi feldolgozás megértése

Weboldalak és alkalmazások lehetnek különböző mozgó alkatrészek, beleértve a front end kreatív, szerver oldali feldolgozás, API-k és adatok tárolására. Az AI csatlakozhat bármelyik alkatrészhez.

Az elülső végén hangutasításokat, chatbot interfészeket vagy reaktív WebGL kreatív elemeket is csatlakoztathat. A hátsó végén az adatbázisok intelligens algoritmusokat használnak a sebesség és az elemzés maximalizálása érdekében. Az API-k absztrakciós réteget biztosítanak az AI funkciók széles skálájából, a kollektív képzésre való előrejelzésektől.

Ha csak egy fejlesztő, és szükség van néhány mutatóra, megtudja Hogyan készítsünk egy alkalmazást , vagy segíthetünk abban, hogy melyik weboldal építője , web hosting és felhő tároló használni.

• Chatbots: Mit kell tudnod.

Természetes nyelv

A természetes nyelvi feldolgozás (NLP) a gépek és az emberi nyelvek közötti kölcsönhatásokra összpontosít. Az NLP célja, hogy folyamatosan feldolgozza és elemezze a nyelvi adatok nagy mennyiségét az emberek és gépek közötti természetes kommunikáció javítása érdekében. Az AI területe a beszédfelismerést, a nyelv megértését és a természetes nyelvet generálja. Fókuszunk lesz a természetes nyelv megértése, a szöveg elemzésének és szándékának meghatározása.

Számos fogalom van az NLP-hez:

• Nyelv észlelése - A szövegben való megértése a szövegben alapvető fontosságú ahhoz, hogy tudjuk, hogy mely szótárakat, szintaktikai és nyelvtani szabályokat használjon az elemzés során.
• Entitás extrakció - A kulcsszavak azonosítása a kifejezésekben, mennyire releváns vagy kiemelkedő, hogy az általános szöveg, és meghatározzák, hogy az entitások képzési vagy tudásalapokon alapulnak.
• Hangulatelemzés - az "érzés" általános szintjének értékelése egy szövegben. Általában pozitív vagy negatív? Az egyes entitásokhoz kapcsolódó hangulat is. A kijelentés tükrözi a pozitív érzéseket vagy negatívakat a "témáról"?
• Szintaktikai elemzés - A szöveg szerkezetének megértése. Az attribútumok azonosítása, mint a mondatok, a beszédrészek (pl. Főnév, ige), hang, nem, hangulat és feszültség.
• Tartalom osztályozás vagy kategorizálás - A szöveg tartalmának közös kategóriákba való szervezése a hatékonyabb feldolgozáshoz. Például New York, London, Párizs, München minden "helyszín" vagy "városok".

Számos technikai megközelítés van az adatok elemzéséhez és feldolgozásához. Függetlenül attól, hogy melyik NLP eszközt használja, meg kell megoldania az elemzés és elemzés közös lépéseit. A szöveg tipikusan logikai darabokra van elválasztva. Ezeket a darabokat elemezte ellen képzett adatok vagy ismeretek bázisok és hozzárendelt értékeket, általában kezdve 0,0-1,0, hogy tükrözze a megbízhatósági szinten az elemzésben.

A Google természetes nyelvű API

A Google által kifejlesztett új természeti nyelvű API-t használjuk erre a bemutatóra. Számos API-k rendelkezésre állnak, de a Google-nak van néhány szép előnye, beleértve a felhőalapú számítástechnikát, a sebességet, a hihetetlenül nagy felhasználói alapot és a gépi tanulást. A Google keresőjei és eszközei évek óta használják az AI-t. Tehát a tapasztalat és a tanulás kihasználja a nyilvános facagási szolgáltatásokat.

Az API-k könnyen beilleszkednek bármely projektbe. Ez sok időt takarít meg, szemben a saját NLP kézi kódolásával. Az elvont nyugodt API lehetővé teszi, hogy szinte bármilyen nyelvet integráljon, amelyet a közös göndör hívások vagy az egyik elérhető SDK-n keresztül kíván. Van néhány trükköt, hogy felálljon, de egyszerre egy lépéssel együtt dolgozunk.

Kattintson az ikonra a kép jobb oldali jobb oldalán, hogy nagyítsa meg.

01. Hozzon létre új Google Cloud projektet

Megy a Google Cloud Platform konzol és hozzon létre egy új projektet, vagy válasszon ki egy meglévő munkát. A szolgáltatás szabadon használható, amíg megkezdi nagy mennyiségű API kéréseket. Lehet, hogy a társult számlázási adatait a számla, ha aktiválja az API, de ez nincs feltöltve a kis forgalmú és kiveheti a szolgáltatás Miután elkészült, tesztelés, ha akarja.

02. Engedélyezze a Cloud NL-t

Tallózás a API könyvtár és válassza ki az NL API-t. Egyszer engedélyezte, hogy egy kis zöld csekket és az "API engedélyezett" üzenetet kell látni.

03. Hozzon létre egy szolgáltatási fiókot

Meg kell állítanod a szolgáltatási fiók Ehhez a szolgáltatáshoz. Mivel egy tipikus szolgáltatást fogunk létrehozni, ez a legjobb gyakorlat. A legjobban a hitelesítési áramlással is működik.

04. Töltse le a privát kulcsot

Miután rendelkezett egy projekt az API engedélyezve és egy szolgáltatási fiókkal, letöltheti a privát kulcsot JSON fájlként. Vegye figyelembe a fájl helyét, így a következő lépésekben használhatja.

Ha bármilyen problémája van az első néhány lépéssel, van egy útmutató itt ami segít, ami a JSON kulcs letöltésével végződik.

05. Állítsa be a környezeti változót

Ezután be kell állítanod a Google_application_credentials Környezeti változó, így az API-hívásokkal érhető el. Ez a JSON fájlodra mutat, amit csak letöltött, és megmenti az útvonalat minden alkalommal beírnia. Nyisson meg egy új terminál ablakot, és használja az exportparancsot:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Helyettesíteni a [fájl név] A privát kulcsfájllal és a fájl elérési útjával.

Windows rendszeren ugyanezt teheted a parancssoron keresztül, mint ez:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Megjegyzés: Ha bezárja a terminál- vagy konzolablakot, előfordulhat, hogy újra be kell futtatnia a változó beállításához.

06. Hívjon az API-nak

Most készen állsz az API használatára, és lásd az NLP-t az akcióban. A CURL-t használod az API gyors teszteléséhez. Ezt a módszert is használhatja a kódodból.

A Curl kérések a legtöbb nyelven készülhetnek, ami azt jelenti, hogy a hívásokat a parancssorba irányíthatja, vagy az eredmény hozzárendelését az Ön által választott nyelvhez hozzárendelheti. Nézz ide Néhány gyors tipp a göndör használatával.

Próbáljunk meg egy tesztkérést, egyszerű mondattal. Átmegyünk a elemzés végpont.

A terminál vagy a parancssori felületen írja be a következő parancsot:

 Curl -x Post \
     -H "Engedélyezés: hordozó" $ (Gcloud auth alkalmazás-alapértelmezett nyomtatás-hozzáférés-token) \
     -H "Tartalom típus: alkalmazás / JSON, Charset = UTF-8"
     --data "{
  'dokumentum':{
    "Típus": "sima_text",
    "Tartalom": "John McCarthy a mesterséges intelligencia alapító apja."
  },
  "EncodingType": "UTF8"
} "" https://language.googleapis.com/v1/documents:analzeentities"

Látnod kell egy JSON eredményt a végrehajtás után. Előfordulhat, hogy először használja ezt az API aktiválásához vagy a hozzáférés engedélyezéséhez. Válaszolhat az "igen" vagy az "y" -re, hogy ezt a kérést, és vissza kell adnia a JSON-t.

Ez visszaadja a bejegyzést, hasonlóan, mint ez az első, mint az első a "John McCarthy" bejegyzéshez.

 {
      "Név": "John McCarthy",
      "Típus": "személy",
      "Metaadatok": {
        "Wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(Computer_scientist)",
        "MID": "/ m / 01svfj"
      },
      "Sérülés": 0.40979216,
      "Megemlítés": [
        {
          "Szöveg": {
            "Tartalom": "John McCarthy",
            "BEGINOFFSET": 0
          },
          "Típus": "megfelelő"
        }
      ]
    }, 

Jegyzet: Az URL-t a tartalomszöveg helyett a Curl utasítás tartalmi paramétere helyett használhatja.

Láthatod a minta entitás listáját, a név azonosított és a típus , amelyet az AI meghatározta a SZEMÉLY . Azt is találta, hogy a Wikipedia mérkőzés a név és visszaadta. Ez akkor lehet hasznos, mert akkor ezt a címet használja, mint a tartalom egy második kérelmet az API és még többet szervezetek és információ erről. Láthatja a kiugrás 0,4-es érték, amely a gazdálkodó egység jelentős relatív fontosságát jelzi a megadott szöveg összefüggésében. Azt is láthatja, hogy helyesen azonosítható MEGFELELŐ , amely a főnévre (megfelelő főnévre) vonatkozik, valamint hány előfordulási (említi) a szöveget a szövegben.

Az API visszatér az összes kulcsfontosságú entitásokhoz az Ön által benyújtott szöveghez. Ez önmagában rendkívül hasznos lehet a feldolgozáshoz, amit a felhasználó kommunikálhat az alkalmazással. Függetlenül attól, hogy mi a büntetés, jó esély van arra, hogy a személy, John McCarthy, és megkerestünk néhány információt a felhasználó számára egyedül. Azt is reagálhatunk olyan módon, amely tükrözi, hogy megértjük, hogy ez a kijelentés egy személyre utal.

Ezt a módszert használhatja a használni kívánt hívások tesztelésére. A helyi SDK-t is beállíthatja egy olyan nyelven, amelyet szeretne, és egész számot az alkalmazásba.

07. Telepítse az ügyfélkönyvtárat

Ideje, hogy egy egyszerű webalapú alkalmazás mutassa be, hogyan integrálja az API-t a projektekbe.

Az NLP alkalmazásokhoz gyakori a Python vagy a csomópont használata. Az API-k használatának sokoldalúságának bemutatásához használjuk a PHP SDK-t. Ha a kódot más nyelvre szeretné csípni, akkor nagy erőforrás van az SDKS-nek itt .

Indítsa el, hogy biztosítson egy projektmappát a helyi vagy távoli kiszolgálón. Ha már nincs, akkor kapja meg a zeneszerzőt és telepítse a projekt mappáját. Lehet, hogy a zeneszerző már világszerte telepítve van, és ez is rendben van.

Futtassa a következő zeneszerzőparancsot az eladófájlok projektbe történő telepítéséhez:

 PHP -R "Másolás (" https://getcomposposer.org/installer "," zeneszerző-setup.php ");
php -r „, ha (hash_file ( 'sha384', 'zeneszerző-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {echo 'telepítő ellenőrzött';} else {echo 'telepítő korrupt'; Unlink (” zeneszerző-setup.php ');} Echo PHP_EOL;
PHP zeneszerző-setup.php
PHP -R "Nyissa meg (" zeneszerző-setup.php ");
A PHP Composer.phar a Google / Cloud-Language 

A zeneszerző gyártó mappát készít a projekt mappájában, és telepíti az összes függőséget az Ön számára.

Ha elakad, hogy ezt beállíthatja, és szeretné használni a PHP-t, megnézheti ezt az erőforrást A zeneszerző telepítése .

08. Hozzon létre egy új fájlt

Ha követi a PHP-t, hozzon létre egy új PHP fájlt a projekt mappájában. Állítsa be, de tetszik, de tartalmaz egy egyszerű HTML űrlapot, hogy gyorsan elküldje a szöveget.

Itt van egy példa PHP fájl az űrlapon:

 & lt;! Doctype html & gt;
& lt; html & gt;
& lt; head & gt;
& lt; Cím & gt; Net - NLP Tutorial & LT; / Cím & GT;
& lt; / head & gt;
& lt; test & gt;
& lt; forma & gt;
& lt; p & gt; & lt; input type = 'text' id = "tartalom" név = "tartalom" helyőrző = "mit tudok elemezni?" / & gt; & lt; / p & gt;
& lt; p & gt; input type = 'submit' name = 'submit' young = 'submit' 'érték =' elemzés '& gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div osztály = "eredmények" & gt;
& lt;? php
// PHP kód jelenik meg //
Ha (üres ($ _ get ['tartalom'])) {meghal (); }
$ tartalom = $ _get ['tartalom];
"& gt;
& lt; / div & gt;
& lt; / test & gt;
& lt; / html & gt; 

A kód tartalmaz egy alapvető HTML fájlt egy formában, valamint a PHP-kód helyőrzőjével együtt. A kód egyszerűen ellenőrzi a tartalomváltozó létezését (az űrlaptól benyújtott) létezését. Ha még nem nyújtott be, akkor csak kilép, és nem tesz semmit.

09. Készítsük el a környezeti változót

A lépéshez hasonló lépésekhez hasonlóan a parancssori curl hívás használatakor meg kell állítanunk Google_application_credentials változó. Ez elengedhetetlen ahhoz, hogy hitelesítse.

A PHP-ben a putenv a környezeti változó beállításához. Az SDK által létrehozott hitelesítés lejár, így ezt a kódodba kell beillesztenie, hogy megragadja, és minden alkalommal beállítsa.

Adja hozzá ezt a kódot a PHP-kódban:

 Putenv (Google_Application_Credentials = / Users / Richardmattka / Letöltések / NLP bemutató 1-1027228343dc.json '); 

Cserélje ki az útvonalat és a fájl nevét, ahogyan saját volt a sajátod előtt.

10. A könyvtár inicializálása

Ezután adja hozzá a könyvtárat, és inicializálja a LanguageClient osztály a kódodban. Adja hozzá ezt a kódot a PHP-kód részéhez:

 Szükséges __dir__. "/vendor/autoload.php";
Használja a Google \ Cloud \ Language \ LanguageClient;
$ ProjectId = 'NLP-Tutorial-1-1543506531329';
$ Language = Új LanguageClecient ([
    'Projectid' = & gt; $ ProjectId
]); 

Indítsa el az eladó automatikus letöltését. Ez hasonló a Python vagy a csomópontnál, ha a függőséget igényel. Importálja a LanguageClient Ezután használja az osztályt. Határozza meg vetületi . Ha nem vagy biztos benne, hogy ez az, akkor megnézheti a GCP konzolját, ahol eredetileg beállítja a projektet. Végül hozzon létre egy újat LanguageClient objektum az Ön segítségével vetületi és hozzárendelje azt a $ nyelv változó.

11. Elemezze az entitások

Most már készen áll az NLP API használatára a kódodban. A tartalmat az űrlaptól az API-ig nyújthatja be, és megkaphatja az eredményt. Most már csak akkor jeleníti meg az eredményt, mint a JSON a képernyőn. A gyakorlatban értékelheti az eredményeket, és bármilyen módon használhatja őket. Az eredmények alapján válaszolhat a felhasználóra, keressen több információt vagy végrehajtási feladatokat.

A hozzárendeléshez az entitás elemzése visszaadja a szövegben található "mi" vagy a "dolgokat" vonatkozó információkat.

 $ Eredmény = $ Language- & GT; elemzés ($ tartalom);
foreach ($ eredmény- és gt; entitások () mint $ e) {
echo "& lt; div osztály =" eredmény "& gt;";
$ eredmény = json_encode ($ e, json_pretty_print);
echo $ eredmény;
echo "& lt; / div & gt;";
} 

Ez a kód megadja a mellékelt űrlap tartalmát a elemzés végpont és tárolja az eredményt a $ eredmény változó. Ezután iterálja az entitások listáját $ eredmény / gt; entitások () . Ahhoz, hogy egy kicsit olvashatóbb legyen, akkor formázhatja, mint JSON, mielőtt a képernyőre kimutatta. Ismét ez csak egy példa arra, hogy megmutassa, hogyan kell használni. Meg tudod feldolgozni, és reagálhat az eredményekre, de szükséged van rá.

12. Elemezze az érzelmeket

Ahelyett, hogy tudnád a tartalom "Mi" -ját, értékes lehet, hogy ismerje meg az érzelmeket. Hogyan érzi magát a felhasználó? Hogyan érzik magukat az entitásokról a kommunikációban?

Frissítse a kódot a elemzés végpont. Ez felméri mind az entitást, mint korábban, de mindegyik érzékeny pontszámot is visszaad.

 $ Eredmény = $ Language- & GT; AnalízisEntitySentiment ($ tartalom);

foreach ($ eredmény- és gt; entitások () mint $ e) {
echo "& lt; div osztály =" eredmény "& gt;";
$ eredmény = json_encode ($ e, json_pretty_print);
echo $ eredmény;
echo "& lt; / div & gt;";
} 

A tartalommal az űrlapon keresztül történő tesztelés, a "Csillagok háborúk a legjobb film"., Látni fogja az ehhez hasonló eredményt:

 {"Név": "Star Wars", "Típus": "Work_of_art", "Metaadatok": {"MID": "\ / m \ / 06mmr", "Wikipedia_URL": "HTTPS: \ / / en.wikipedia.org \ / wiki \ / star_wars "}," Sulience ": 0.63493526," említések ": [{" TEXT ": {" Tartalom ":" Star Wars "," Beginoffset ": 0}," Típus " : "Megfelelő", "hangulat": {"nagyságrend": 0.6, "pontszám": 0.6}}], "hangulat": {"Magness": 0.6, "Score": 0.6}
{"Név": "Movie", "Típus": "Work_of_art", "Metaadatok": [], "Sunience": 0.36506474, "említés": [{"TEXT": {"Tartalom": "Movie": "" BEGINOFFSET ": 22}," TÍPUS ":" Gyakori "," Sentiment ": {" Magnitude ": 0.9," Score ": 0.9}}]," hangulat ": {" nagyságrend ": 0,9," pontszám ": 0,9 }} 

Ez jelentős értékű pozitív hangulatszámot mutat. Nem csak akkor ismeri a kulcsszavakat, amelyeket a felhasználó kommunikál, hanem hogyan érzi magát. Az alkalmazás ezen adatok alapján megfelelő módon válaszolhat. A "Csillagok háborúinak" egyértelmű azonosítása van, mint az elsődleges téma magas sóliummal. Van egy Wikipedia link, hogy megragadjon több információt, ha szeretné futtatni ezt az URL-t ugyanazon API híváson keresztül. Azt is tudjuk, hogy a felhasználó pozitívan érzi magát. Még azt is láthatja, hogy a kijelentés súlya a pozitív hangulat, mint filmként. Nagyon cool.

A gondolatok elválasztása

Próbálja meg kísérletezni más végpontokkal. Pontosabban, nézd meg a analyszeyntax és osztályjátékos végpontok. Ezek még a beszédadatok több részét és a tartalmi szervezetek osztályozását adják meg.

Ezt a cikket eredetileg a 315. \ t háló , A világ legjobban értékesítő magazinja webes tervezőknek és fejlesztőknek. A 315-ös kérdés megvásárolása itt vagy Iratkozzon fel itt .

Kapcsolódó cikkek:

• 7 Hatalmas Tech Trends, hogy a tervezőnek most tudnia kell
• Hogyan tervezhet egy chatbot tapasztalatot
• 5 ellentmondásos konverziós trükkök