Ymmärrä luonnollinen kielen käsittely

Verkkosivustoilla ja sovelluksilla voi olla erilaisia ​​liikkuvia osia, mukaan lukien etupään luova, palvelinpuolen käsittely, AP: n ja tietojen tallennus. AI voi kytkeä jonkin näistä komponenteista.

Etusivulle voit yhdistää äänikomennot, chatbot-liitännät tai reaktiiviset WebGL-luovat elementit. Takapäässä tietokannat käyttävät älykkäitä algoritmeja maksimoimaan nopeus ja analyysi. API: llä voi tarjota kertomuksen abstraktiosta monista AI-toiminnoista, ennustuksista kollektiiviseen koulutukseen.

Jos olet juuri aloittanut kehittäjänä ja tarvitset joitakin osoittimia, selvitä Miten tehdä sovellus , tai voimme auttaa sinua valitsemaan Verkkosivuston rakentaja , sivujen ylläpito Palvelu ja pilvivarasto käyttää.

• Chatbots: Mitä sinun tarvitsee tietää.

Luonnollinen kieli

Luonnon kielen jalostus (NLP) keskittyy koneiden ja ihmisten välisiin vuorovaikutukseen. NLP: n tavoite käsitellä ja analysoida suuria määriä kielitietoja ihmisten ja koneiden luonnollisen viestinnän parantamiseksi. Tämä AI-ala sisältää puheentunnistuksen, kielen ymmärrys ja luonnollisen kielen luominen. Meidän painopisteemme on luonnollisen kielen ymmärtäminen, prosessi analysoida ja määrittää tekstin merkityksen tai tarkoituksen.

NLP: lle on useita käsitteitä:

• Kielten ilmaiseminen - Ymmärtäminen, minkä kielen käytetään tekstissä, on olennaisen tärkeää tietää, mitkä sanakirjat, syntaksi ja kieliopin säännöt analysointiin.
• Entity Extraction - tunnistetaan selkeiden avainsanat, kuinka tärkeitä tai tärkeitä ne ovat yleisen tekstin ja määrittävät, mitä yhteisöt perustuvat koulutukseen tai tietopohjaan.
• Sentimentin analyysi - Tekstin "tunne" yleisen tason arviointi. Onko se yleensä positiivinen tai negatiivinen? Myös kunkin kokonaisuuteen liittyvä tunne. Tarkoittaako lausunto myönteisiä tunteita tai negatiivisia aiheesta?
• Syntaktinen analyysi - Tekstin rakenteen ymmärtäminen. Tunnista attribuutit, kuten lauseita, puheosat (esim. Substantiivi, verbi), ääni, sukupuoli, mieliala ja jännitys.
• Sisältö Luokittelu tai luokittelu - Tekstin sisällön järjestäminen yhteisiin luokkiin niiden tehokkaammin käsittelemiseksi. Esimerkiksi New York, Lontoo, Pariisi, München ovat kaikki "paikkoja" tai "kaupungeissa".

Tietojen jäsentäminen ja käsitteleminen on lukuisia teknisiä lähestymistapoja. Riippumatta siitä, mikä NLP-työkalu käytät, sinun on ratkaistava jäsentämisen ja analyysin yhteiset vaiheet. Tyypillisesti teksti erotetaan loogisiin paloihin. Nämä palat analysoidaan koulutetuista data- tai tietopohjaisista arvoista ja osoitettuja arvoja, jotka yleensä vaihtelevat 0,0 - 1,0, jotka heijastavat luottamuksen tasoa analyysiin.

Googlen luonnollinen kieli API

Käytämme Googlen kehittämää uutta luonnollista kielen API tätä opetusohjelmaa. On olemassa lukuisia sovellusliittymää, mutta Googlen on mukavia etuja, kuten pilvipalvelu, nopeus, uskomattoman suuri käyttäjäpohja ja koneoppiminen. Googlen hakukoneet ja -työkalut ovat käyttäneet AI: ta vuosia. Joten voit hyödyntää kaikkia kokemuksia ja oppimista käyttämällä julkisia palveluja.

Apis sisältää helposti mihin tahansa projektiin. Tämä säästää paljon aikaa verrattuna käden koodaukseen oman NLP: n. Sen abstrakti rauhallinen API avulla voit integroida lähes kaikkiin kieliin, jota haluat käyttää yhteisten Curl-puhelujen tai jonkin lukuisista SDKS: stä. On olemassa muutamia temppuja perustaa, mutta me työskentelemme sen läpi yhden askeleen kerrallaan.

Napsauta kuvaketta kuvan oikeassa reunassa suurentaaksesi sitä.

01. Luo uusi Google Cloud -projekti

Mennä jhk Google Cloud Platform Console ja luo uusi projekti tai valitse nykyinen, joka toimii. Palvelu on ilmainen, kunnes aloitat suuren määrän API-pyyntöjä. Saatat joutua liittämään laskutustiedot tilille, kun aktivoit API: n, mutta tätä ei veloiteta pienellä äänenvoimakkuudella ja voit poistaa palvelut sen jälkeen, kun olet suorittanut testauksen, jos haluat.

02. Ota pilvi NL käyttöön

Selaa API-kirjasto ja valitse NL API. Kun olet käytettävissä, sinun pitäisi nähdä pieni vihreä tarkistus ja viesti "API on käytössä" sen vieressä.

03. Luo palvelutili

Sinun täytyy perustaa a palvelutili Tätä palvelua varten. Koska aiomme perustaa käytön, kuten tyypillinen palvelu, tämä on paras käytäntö. Se toimii myös parhaiten todentamisvirtaa.

04. Lataa yksityinen avain

Kun sinulla on projekti API: n käytössä ja palvelutilillä voit ladata yksityisen avaimen JSON-tiedostona. Huomioi tiedoston sijainti, joten voit käyttää sitä seuraavassa vaiheessa.

Jos sinulla on ongelmia ensimmäisten vaiheiden kanssa, on opas tässä Tämä auttaa, joka päättyy JSON-avaimen lataamiseen.

05. Aseta ympäristömuuttuja

Seuraavaksi sinun on asetettava Google_Application_crededit Ympäristömuuttuja, joten API-puhelut voivat käyttää sitä. Tämä osoittaa JSON-tiedostoosi, jonka olet juuri ladannut ja tallentaa sinun täytyy kirjoittaa polku joka kerta. Avaa uusi terminaali-ikkuna ja käytä vientikomentoa niin:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Korvata [Tiedoston nimi] Yksityinen avaintiedosto ja käytä tieosuutesi polkua.

Windowsissa voit tehdä saman asian komentorivin kautta, kuten tämä:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Huomautus: Jos suljet päätelaitteen tai konsolin ikkunan, saatat joutua käyttämään sitä uudelleen määrittämiseksi.

06. Soita API: lle

Nyt olet valmis kaivamaan API: n käyttöä ja katso NLP toiminnassa. Käytät Curl tehdä nopeita testejä API: n. Voit myös käyttää tätä menetelmää koodistasi.

Curl-pyynnöt voidaan tehdä useimmilla kielillä, mikä tarkoittaa, että voit tehdä puhelut suoraan komentoriville tai määrittää tuloksen muuttujaksi valitsemasi kielellä. Kuulehan Jotkut nopeat vinkit käyttämällä Curl.

Kokeile testipyyntöä yksinkertaisella lauseella. Suoritamme sen Analyysit päätepiste.

Kirjoita päätelaitteessasi tai komentorivillä oleva käyttöliittymä seuraava komento:

 Curl -X Post \
     -H "Valtuutus: kantaja" $ (GCloud Auth Application-Default Print-Access-Token) \
     -H "Sisältötyyppi: Sovellus / JSON; Charset = UTF-8" \
     --data "{
  'asiakirja':{
    'Tyyppi': 'Plain_text',
    "Sisältö": "John McCarthy on yksi keinotekoisen älykkyyden perustaja-isiistä."
  },
  'EncodingType': 'UTF8'
} "" https://language.googleapis.com/v1/documents:Analyzeenties" 

Sinun pitäisi nähdä JSON-tulos suorittamisen jälkeen. Saatat saada ensimmäisen kerran, kun käytät tätä aktivoidaksesi API: n tai sallia pääsyn. Voit vastata "kyllä" tai "y" tähän kehotukseen ja sen pitäisi palauttaa JSON sen jälkeen.

Se palauttaa joukon merkintöjä, samanlaisia ​​kuin tämä ensimmäinen merkintä "John McCarthy".

 {
      "Nimi": "John McCarthy",
      "Tyyppi": "Henkilö",
      "Metatieto": {
        "Wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scientist)",
        "Mid": "/ m / 01svfj"
      },
      "Solice": 0.40979216,
      "mainitsee": [
        {
          "Teksti": {
            "Sisältö": "John McCarthy",
            "BeginOffset": 0
          },
          "Tyyppi": "Oikea"
        }
      ]
    }, 

Huomautus: Voit käyttää URL-osoitetta sisällön tekstin sijaan Curl-lausunnon sisältöparametrissa.

Näet näyteyksikön listalla, nimi tunnistettu ja tyyppi , joka AI määritetty on HENKILÖ . Se löysi myös wikipedia-ottelun nimi ja palautti sen. Tämä voi olla hyödyllinen, koska voit käyttää tätä URL-osoitetta toisen pyynnön sisällöksi API: lle ja saada vielä enemmän yhteisöjä ja tietoja tästä. Näet myös lohko arvo 0,4, mikä osoittaa yhteisön merkittävän merkityksen toimittamamme tekstin yhteydessä. Voit myös nähdä, että se on oikein tunnistettu Oikea , joka viittaa substantiivityyppiin (oikea substantiivi) sekä kuinka monta tapahtumaa (mainitsee) tekstissä.

API palauttaa arvot kaikkiin lähettämäsi tekstin keskeisiin kokonaisuuksiin. Tämä yksin voi olla erittäin hyödyllinen käsittelyyn, mitä käyttäjä saattaa kommunikoida sovelluksellesi. Riippumatta siitä, mitä lause sisältämä, on hyvä mahdollisuus, että henkilö, John McCarthy, ja voisimme etsiä joitakin tietoja käyttäjältä yksinään. Voisimme myös vastata tavalla, joka heijastaa ymmärrystä tämän lausunnon viittaa henkilöön.

Voit käyttää tätä menetelmää, jotta voit testata puhelut, joita käytämme. Voit myös perustaa paikallisen SDK: n mieleisesi kielellä ja kokonaislukuksi sovellukseen.

07. Asenna asiakaskirjasto

Aika tehdä yksinkertainen web-pohjainen sovellus osoittaa, miten API integroidaan hankkeiksi.

NLP-sovelluksille on yleistä käyttää Python tai solmua. Jos haluat näyttää API: n käyttämisen monipuolisuuden, käytämme PHP SDK: ta. Jos haluat säätää koodia toiseen kieleksi, on suuri resurssi SDKS tässä .

Aloita varmistamalla, että sinulla on paikallis- tai etäpalvelimesi käyttöönotettu projektikansio. Jos sinulla ei ole sitä, saat säveltäjä ja asenna projektikansioon. Sinulla voi olla säveltäjä, joka on jo asennettu maailmanlaajuisesti ja se on myös kunnossa.

Suorita seuraava säveltäjäkomento asentamaan myyjän tiedostot projektiin:

 PHP -R "Kopio (" https://getcomposer.org/installer "," Composer-Setup.php ");"
php -r ", jos (hash_file (sha384", 'säveltäjä-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {kaiku 'Asentaja vahvistettu';} else {kaiku 'Asentaja sekoittaa'; linkityksen (' säveltäjä-setup.php ');} echo php_eol; "
PHP Composer-Setup.php
PHP -R "Unlink ('Composer-Setup.php');"
PHP Composer.pphar vaatii Google / Cloud-kieltä 

Säveltäjä tekee Projektikansiosi toimittajakansio ja asentaa kaikki riippuvuudet sinulle.

Jos tulet kiinni tämän ylös ja haluat käyttää PHP: tä, voit tarkistaa tämän resurssin Asenna säveltäjä .

08. Luo uusi tiedosto

Jos olet seurata PHP: ssä, luo uusi PHP-tiedosto projektikansioon. Aseta se kuitenkin haluat, mutta sisältää yksinkertaisen HTML-lomakkeen lähettämään nopeasti tekstiä.

Tässä on esimerkki PHP-tiedosto, jossa on lomake:

 & lt ;! DocType HTML & GT;
& lt; html & gt;
& lt; pää & gt;
& lt; otsikko & gt; net - NLP opetusohjelma & lt; / otsikko & gt;
& lt; / head & gt;
& lt; body & gt;
& lt; muoto & gt;
& lt; p & gt; Syöttötyyppi = 'Text' ID = "Sisältö" Nimi = "Sisältö" Placeholder = "Mitä voin analysoida?" / & gt; & lt; / p & gt;
& lt; p & gt; & lt; syöttötyyppi = 'Lähetä' name = 'Lähetä' ID = 'Lähetä' arvo = 'Analysoida' & gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div luokka = "Tulokset" & gt;
& lt;? PHP
// PHP-koodi menee tänne //
Jos (tyhjä ($ _ Get ['Sisältö']) {Die (); }
$ sisältö = $ _get ['Sisältö'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Koodi sisältää perus HTML-tiedoston, jossa on lomake sekä PHP-koodin paikkamerkki. Koodi alkaa yksinkertaisesti tarkistamalla sisällön muuttujan olemassaolo (toimitettu lomakkeesta). Jos sitä ei ole vielä lähetetty, se vain poistuu ja ei tee mitään.

09. Tee ympäristömuuttuja

Samanlainen kuin vaihe, jonka teimme aiemmin, kun käytät komentorivi Curl-puhelua, meidän on asetettava Google_Application_crededit muuttuja. Tämä on välttämätöntä saada se todentamaan.

PHP: ssä käytämme putenv Komento asettaa ympäristömuuttuja. SDK: n luoma todennus päättyy, joten sinun on sisällytettävä tämä koodiin, jotta se tarttuu siihen ja asettaa sen joka kerta.

Lisää tämä koodi seuraavaksi PHP-koodissasi:

 Putenv ("google_application_crededit = / käyttäjät / Richardmattka / Downloads / NLP opetusohjelma 1-10272228343dc.json"); 

Vaihda polku ja tiedostonimi kuin aiemmin omalla.

10. Alustaa kirjasto

Lisää sitten kirjasto ja aloita Kielellinen Luokka koodi. Lisää tämä koodi PHP-koodisi vieressä:

 Vaaditaan __dir__. '/Vender/autoload.php';
Käytä Google \ Cloud \ Language \ LanguageClient;
$ ProjectID = 'NLP-opetusohjelma-1-1543506531329';
$ Language = Uusi kieliKrient ([
    "Profioid" = & gt; $ projektiivi
]); 

Aloita edellyttämällä myyjän autoload. Tämä on samanlainen Pythonissa tai solmussa, jos tarvitset riippuvuutesi. Tuo Kielellinen Seuraavaksi, jotta voit käyttää luokkaa. Määritä sinun projektiivi . Jos et ole varma, mitä tämä on, voit katsoa sen GCP-konsolissasi, jossa perustetaan hankkeen alun perin. Lopuksi luo uusi Kielellinen esine käyttämällä projektiivi ja määritä se $ Kieli muuttuja.

11. Analysoi yksiköt

Nyt olet valmis aloittamaan NLP API: n käyttämisen koodissasi. Voit lähettää sisällön lomakkeelta API: ään ja saada tulos. Nyt näytät tuloksen JSON: ksi näytölle. Käytännössä voit arvioida tuloksia ja käyttää niitä millään tavalla. Voit vastata käyttäjälle tulosten perusteella, etsiä lisätietoja tai suorita tehtäviä.

Yhteisön analysointi palauttaa tietoja tekstissä olevista "mitä" tai "asioita".

 $ tulos = $ Language- & GT; analysointi ($ sisältö);
foreach ($ tulos- & gt; yksiköt () kuin e) {
echo "& lt; div luokka =" tulos "& gt;";
$ tulos = json_code ($ e, json_pretty_print);
ECHO $ ​​tulos;
echo "& lt; / div & gt;
} 

Tämä koodi toimittaa sisällön lähetetystä lomakkeesta Analyysit päätepiste ja tallentaa tuloksen $ tulos muuttuja. Sitten sinä toistaa luettelon, joka palautetaan $ tulos- & gt; yksiköt () . Jotta se on hieman luettavampi, voit muodostaa sen JSON: ksi ennen kuin lähdet näytölle. Jälleen tämä on vain esimerkki, jolla voit käyttää sitä. Voit käsitellä sitä ja reagoida tuloksiin, mutta tarvitset.

12. Analysoi tunne

Sen sijaan, että tiedät "mitä" sisällön ", se voi olla myös arvokas tuntemus. Miten käyttäjä tuntee? Miten he tuntevat kommunikaatiokohteistaan?

Päivitä koodi käyttääksesi Analyysityöntekijä päätepiste. Tämä arvioi sekä yksiköt kuin aiemmin, mutta myös palauttaa tunteen pisteet kullekin.

 $ tulos = $ Language- & GT; analysointi ($ sisältö);

foreach ($ tulos- & gt; yksiköt () kuin e) {
echo "& lt; div luokka =" tulos "& gt;";
$ tulos = json_code ($ e, json_pretty_print);
ECHO $ ​​tulos;
echo "& lt; / div & gt;
} 

Testaus sisällön kanssa lomakkeen kautta "Star Wars on kaikkien aikojen paras elokuva.", Näet tämän samanlaisen tuloksen:

 {"Nimi": "Star Wars", "Tyyppi": "Work_of_art", "Metadata": {"Mid": "\ / m \ / 06mmr", "wikipedia_url": "https: \ / \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}," Solice ": 0.63493526," mainitsee ": [{" Teksti ": {" Sisältö ":" Star Wars "," BegingOffset ": 0}," tyyppi " : "Oikea", "Sentiment": {"suuruus": 0.6, "Pisteet": 0.6}}], "Sentiment": {"Magnituus": 0.6, "Pisteet": 0.6}}
{"NAME": "Elokuva", "Tyyppi": "Work_of_art", "Metatieto": [], "Solice": 0.36506474, "mainitsee": [{"Teksti": {"Sisältö": "Elokuva", " BeingOffset ": 22}," Tyyppi ":" Common "," Sentiment ": {" Magnitude ": 0.9," Pisteet ": 0.9}}]," Sentiment ": {" Magnituus ": 0.9," Pisteet ": 0.9 }} 

Tämä osoittaa merkittävän arvon positiivisen mielipiteen. Ei vain tiedä, että avainsanat käyttäjä kommunikoi, mutta myös miten he tuntevat siitä. Sovellus voi vastata asianmukaisesti näiden tietojen perusteella. Sinulla on selkeä tunnistaminen "Star Wars" ensisijaisena aiheena, jolla on korkea oliko. Sinulla on Wikipedia-linkki tarttua lisää tietoa, jos haluat käyttää sitä URL-osoitteen takaisin saman API-puhelun kautta. Tiedät myös, että käyttäjä tuntee positiivisen siitä. Voit jopa nähdä, että lausunto painaa positiivista tunnetta sen laadusta elokuvaksi. Todella siistiä.

Jakautuvat ajatukset

Kokeile kokeilla muita päätepisteitä. Tarkastele nimenomaan Analyzesyntax ja ClassifyText päätepisteitä. Nämä antavat sinulle vielä enemmän osia puheen tiedot ja sisältöyksiköiden luokittelu.

Tämä artikkeli julkaistiin alun perin 315: ssä netto , maailman myydyin aikakauslehti web-suunnittelijoille ja kehittäjille. Osta numero 315 täältä tai Tilaa täältä .

Aiheeseen liittyvät artikkelit:

• 7 valtava teknologiatrendit, jotka suunnittelijoiden täytyy tietää juuri nyt
• Kuinka suunnitella chatbot-kokemus
• 5 vastakkain muunnos temppuja