Verstehen der natürlichen Sprachverarbeitung

Websites und Apps können verschiedene bewegliche Teile aufweisen, einschließlich der Front-End-kreativen, serverseitigen Verarbeitung, APIs und Datenspeicherung. AI kann eine dieser Komponenten einstecken.

Am vorderen Ende können Sie Sprachbefehle, Chatbot-Schnittstellen oder reaktive Webgl-kreative Elemente anschließen. Auf dem hinteren Ende verwenden Datenbanken intelligente Algorithmen, um die Geschwindigkeit und Analyse zu maximieren. APIs kann eine Abstraktionschicht aus einem breiten Sortiment an AI-Funktionen bereitstellen, von Vorhersagen bis hin zu kollektiven Training.

Wenn Sie gerade als Entwickler anfangen und einige Zeiger benötigen, sollten Sie herausfinden So erstellen Sie eine App oder wir können Ihnen helfen, welche Webseitenersteller , Web-Hosting Service und Cloud-Speicherung. benutzen.

• Chatbots: Was Sie wissen müssen.

Natürliche Sprache

Die natürliche Sprachverarbeitung (NLP) konzentriert sich auf die Wechselwirkungen zwischen Maschinen und menschlichen Sprachen. Es ist das Ziel von NLP, große Mengen an Sprachdaten zu verarbeiten und zu analysieren, um die natürliche Kommunikation zwischen Mensch und Maschinen zu verbessern. Dieses Feld von AI umfasst die Spracherkennung, die Sprache verstehen und natürliche Sprache generieren. Unser Fokus ist auf dem Verständnis der natürlichen Sprache, dem Prozess der Analyse und Bestimmung der Bedeutung oder der Absicht eines Textes.

Es gibt mehrere Konzepte, die NLP gemeinsam sind:

• Sprache erkennen. - Das Verständnis, welche Sprache im Text verwendet wird, ist von grundlegender Bedeutung, um zu wissen, welche Wörterbücher, Syntax- und Grammatikregeln in der Analyse verwendet werden.
• Entitätsabsaugung. - Identifizieren der Schlüsselwörter in Phrasen, wie relevant oder hervorstechend sie dem Gesamttext und die Bestimmung der Entitäten, die auf Schulungen oder Wissensgrundlagen sind, festlegen.
• Sentiment-Analyse - Bewerten der allgemeinen Ebene des "Gefühls" in einem Text. Ist es im Allgemeinen positiv oder negativ? Auch ein Gefühl, das mit jeder Entität zusammenhängt. Spiegelt die Aussage positive Gefühle oder negative über das "Thema" wider?
• Syntaktische Analyse - Verständnis der Struktur des Textes. Identifizieren Sie Attribute wie Sätze, Teile der Sprache (z. B. Nomen, Verb), Stimme, Geschlecht, Stimmung und Zeitspanne.
• Inhaltsklassifizierung oder Kategorisierung - Organisieren des Inhalts des Textes in gemeinsame Kategorien, um sie effizienter zu verarbeiten. Zum Beispiel sind New York, London, Paris, München alle "Standorte" oder "Städte".

Es gibt zahlreiche technische Ansätze zur Analyse und Verarbeitung der Daten. Unabhängig davon, welcher NLP-Tool Sie verwenden, müssen Sie die gemeinsamen Analyse- und Analyseschritte angehen. Typischerweise wird der Text in logische Brocken getrennt. Diese Brocken werden gegen ausgebildete Daten- oder Wissensbanken und zugewiesene Werte analysiert, die in der Regel zwischen 0,0 und 1,0 liegen, um das Vertrauen in der Analyse wiederzugeben.

Googles natürliche Sprache-API

Wir verwenden die neue Natürlichkeitssprache-API, die von Google für dieses Tutorial entwickelt wurde. Es gibt zahlreiche APIs verfügbar, aber Google hat einige schöne Vorteile, darunter Cloud-Computing, Geschwindigkeit, eine unglaublich große Benutzerbasis und ein unglaublich großes Benutzerbasis und ein maschinelles Lernen. Die Suchmaschinen und--Tools von Google verwenden seit Jahren AI. Sie nutzen also all diese Erfahrung und lernen, indem Sie ihre öffentlichen Dienste verwenden.

APIs enthält leicht in jedes Projekt. Dies spart viel Zeit versus von Hand-Codierung Ihres eigenen NLP. Mit seiner abstrahierten erholsamen API können Sie mit fast jeder Sprache integrieren, die Sie durch gemeinsame Curl-Anrufe oder eines der zahlreichen SDKs wünschen, die verfügbar sind. Es gibt ein paar Tricks, um eingerichtet zu werden, aber wir arbeiten ein Schritt gleichzeitig durch.

Klicken Sie auf das Symbol oben rechts neben dem Bild, um es zu vergrößern.

01. Neues Google Cloud-Projekt erstellen

Auf den Weg gehen Google Cloud-Plattformkonsole und erstellen Sie ein neues Projekt oder wählen Sie ein vorhandenes aus, mit dem Sie arbeiten können. Der Dienst ist kostenlos zu verwenden, bis Sie ein großes Volumen an API-Anforderungen erstellen. Möglicherweise müssen Sie Abrechnungsinformationen mit dem Konto verknüpfen, wenn Sie die API aktivieren, aber dies wird nicht mit niedrigem Volume berechnet, und Sie können die Dienste nach dem Testen entfernen, nachdem Sie dies wünschen.

02. Aktivieren Sie die Cloud NL

Suchen Sie nach The. API-Bibliothek und wählen Sie die NL-API. Sobald Sie aktiviert sind, sollten Sie einen kleinen Green-Check sehen und die Meldung 'API aktiviert' daneben.

03. Erstellen Sie ein Service-Konto

Sie müssen ein einrichten Dienstleistungskonto Für diesen Service. Da wir uns wie ein typischer Service einrichten werden, ist dies die beste Praxis. Es funktioniert auch am besten mit dem Authentifizierungsfluss.

04. Privater Schlüssel herunterladen

Sobald Sie ein Projekt mit dem API-aktivierten und einem Dienstkonto haben, können Sie Ihren privaten Schlüssel als JSON-Datei herunterladen. Beachten Sie den Speicherort der Datei, sodass Sie es in den nächsten Schritten verwenden können.

Wenn Sie Probleme mit den ersten Schritten haben, gibt es einen Leitfaden Hier das hilft, was mit dem Download der JSON-Taste endet.

05. Umgebungsvariable einstellen

Als nächstes müssen Sie das einstellen Google_application_credentials. Umweltvariable, so kann es von unseren API-Anrufen zugegriffen werden. Dies zeigt auf Ihre JSON-Datei, die Sie gerade heruntergeladen haben, und speichert Sie, dass Sie den Pfad jedes Mal eingeben müssen. Öffnen Sie ein neues Terminalfenster und verwenden Sie den Exportbefehl wie so:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Ersetze das [Dateinamen] mit Ihrer privaten Schlüsseldatei und verwenden Sie den Pfad in Ihre Datei.

Bei Windows können Sie dasselbe über die Befehlszeile tun, wie folgt:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Hinweis: Wenn Sie Ihr Terminal- oder Konsolenfenster schließen, müssen Sie möglicherweise das erneut ausführen, um die Variable festzulegen.

06. Machen Sie einen Anruf an die API

Jetzt können Sie mit der API in die API ausgegraben werden, und sehen Sie NLP in Aktion. Sie verwenden Curl, um schnelle Tests der API mitzunehmen. Sie können diese Methode auch von Ihrem Code verwenden.

Curl-Anforderungen können in den meisten Sprachen vorgenommen werden, dh Sie können die Anrufe direkt in der Befehlszeile erstellen oder das Ergebnis einer Variablen in der Sprache Ihrer Wahl zuweisen. Schau hier Für einige schnelle Tipps zur Verwendung von Curl.

Lassen Sie uns eine Testanfrage mit einem einfachen Satz versuchen. Wir laufen es durch die Analyseentitäten Endpunkt.

Geben Sie in Ihrer Terminal- oder Befehlszeilenoberfläche den folgenden Befehl ein:

 Curl -x Post \
     -H "Autorisierung: Inhaber" $ (GCLOUD AUTH-Anwendung-Standarddruck-Zugriff-Token) \
     -H "Content-Type: Application / JSON; charetset = utf-8" \
     --Daten "{
  'Dokument':{
    'Typ': 'plain_text',
    'Inhalt': 'John McCarthy ist einer der Gründungsväter der künstlichen Intelligenz.'
  },
  'EncodingType': 'utf8'
} "" https://language.googleapis.com/v1/documents:Analyzentities"

Nach der Ausführung sollten Sie ein JSON-Ergebnis sehen. Sie können das erste Mal dazu auffordern, dass Sie das erste Mal verwenden, um die API zu aktivieren oder den Zugriff zulassen. Sie können "Ja" oder "y" an diese Eingabeaufforderung antworten, und es sollte den JSON danach zurücksenden.

Es wird ein Array von Einträgen zurückgeben, ähnlich wie dieser erste für den Eintrag "John McCarthy".

 {
      "Name": "John McCarthy",
      "Typ": "Person",
      "Metadaten": {
        "Wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scientist)",
        "MID": "/ M / 01SVFJ"
      },
      "Salience": 0.40979216,
      "Erwähnt": [
        {
          "Text": {
            "Inhalt": "John McCarthy",
            "beginnoffset": 0
          },
          "Typ": "richtig"
        }
      ]
    }, 

Hinweis: Sie können eine URL anstelle von Content-Text im Inhaltsparameter der Curl-Anweisung verwenden.

Sie können in der Liste der Beispielentität sehen, die Name identifiziert und das Art , das der AI entschlossen ist, ist ein PERSON . Es fand auch ein Wikipedia-Match für die Name und kehrte das zurück. Dies kann nützlich sein, da Sie diese URL als Inhalt für eine zweite Anfrage an die API verwenden und noch mehr Entitäten und Informationen zu diesem erhalten können. Sie können auch das sehen Wahnsinn Wert bei 0,4, was auf eine signifikante relative Bedeutung der Entität im Zusammenhang mit dem von uns bereitgestellten Text angibt. Sie können auch sehen, dass es richtig identifiziert wird Eigentlich , das sich auf den Nomentyp (ein richtiges Substantiv) verweist, sowie wie viele Ereignisse (Erwähnungen) der Entität im Text.

Die API gibt Werte für alle wichtigen Entitäten in dem von Ihnen eingereichten Text zurück. Dies allein kann äußerst nützlich sein, um zu verarbeiten, was ein Benutzer möglicherweise in Ihre App kommunizieren könnte. Unabhängig davon, was der Urteil enthielt, gibt es eine gute Chance, dass es um die Person, John McCarthy ist, und wir könnten einige Informationen für den Benutzer allein aufsuchen. Wir könnten auch auf eine Weise antworten, die unser Verständnis widerspiegelt, dass diese Erklärung auf eine Person bezieht.

Sie können diese Methode weiterhin verwenden, um die Anrufe zu testen, die wir verwenden. Sie können lokale SDK auch in einer Sprache einrichten, die Sie bevorzugen, und intenger in Ihrer App.

07. Installation der Clientbibliothek

Zeit, um eine einfache webbasierte App zu erstellen, um zu demonstrieren, wie Sie die API in Projekte integrieren können.

Für NLP-Apps ist es üblich, Python oder Knoten zu verwenden. Um die Vielseitigkeit der Verwendung der APIs anzuzeigen, verwenden wir die PHP-SDK. Wenn Sie den Code in eine andere Sprache optimieren möchten, gibt es eine großartige Ressource von SDKs Hier .

Beginnen Sie, indem Sie sicherstellen, dass Sie einen Projektordner auf Ihrem lokalen oder Remote-Server einrichten lassen. Wenn Sie es noch nicht haben, erhalten Sie den Komponisten und installieren Sie in Ihrem Projektordner. Möglicherweise haben Sie bereits Komponisten weltweit installiert, und das ist auch in Ordnung.

Führen Sie den folgenden Composer-Befehl aus, um die Anbieterdateien an Ihr Projekt zu installieren:

 PHP -R "copy ('https://getcomposer.org/installer', 'composer-setup.php');"
php -r „if (hash_file ( 'sha384', 'composer-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {echo 'Installer überprüft';} else {echo 'Installer korrupt'; unlink (‘ composer-setup.php ');} echo php_eol; "
PHP Composer-Setup.php
PHP -R "Unlink (Composer-Setup.php ');"
PHP Composer.phar erfordern Google / Cloud-Sprache 

Komponist erstellt einen Anbieterordner in Ihrem Projektordner und installiert alle Abhängigkeiten für Sie.

Wenn Sie feststellen, dass Sie das einstellen und PHP verwenden möchten, können Sie diese Ressource anschauen Komponist installieren. .

08. Erstellen Sie eine neue Datei

Wenn Sie in PHP folgen, erstellen Sie in Ihrem Projektordner eine neue PHP-Datei. Stellen Sie jedoch ein, dass Sie möchten, aber ein einfaches HTML-Formular aufnehmen, um den Text schnell zu übermitteln.

Hier ist eine beispielhafte PHP-Datei mit dem Formular:

 & lt ;! doctype html & gt;
& lt; HTML & GT;
& lt; head & gt;
& lt; Titel & GT; net - nlp Tutorial & lt; / title & gt;
& lt; / head & gt;
& lt; body & gt;
& lt; form & gt;
& lt; p & gt; & lt; Eingangstyp = 'Text' ID = "Inhalt" Name = "Inhalt" Platzhalter = "Was kann ich analysieren?" / & gt; & lt; / p & gt;
& lt; p & gt; & lt; Eingangstyp = 'Senden' 'Senden' 'Senden' Senden 'Senden' Senden '' Senden 'Senden' 'Werte' 'Analyze' & gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div class = "Ergebnisse" & gt;
& lt; PHP
// PHP-Code geht hier //
wenn (leer ($ _ Get ['Content'])) {sterb (); }
$ content = $ _get ['content'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Der Code enthält eine grundlegende HTML-Datei mit einem Formular sowie einen Platzhalter für Ihren PHP-Code. Der Code beginnt mit einfach, indem Sie einfach auf das Vorhandensein der Inhaltsvariablen prüfen (aus dem Formular eingereicht). Wenn es noch nicht eingereicht wird, geht es nur aus und tut nichts.

09. Machen Sie die Umgebungsvariable

Ähnlich wie in Schritt, den wir zuvor getan haben, wenn wir den Befehlszeilen-Curl-Anruf verwenden, müssen wir das einstellen Google_application_credentials. Variable. Dies ist wichtig, um sie authentifizieren zu können.

In PHP verwenden wir das Putenv. Befehl, eine Umgebungsvariable einzustellen. Die von der SDK erstellte Authentifizierung läuft aus, sodass Sie dies in Ihren Code einfügen müssen, damit er sich ergreift und jedes Mal eingestellt ist.

Fügen Sie diesen Code neben Ihrem PHP-Code hinzu:

 PUTENV ('Google_Application_credentials = / Benutzer / RichardMattka / Downloads / NLP-Tutorial 1-1027228343DC.JSON'); 

Ersetzen Sie den Pfad- und Dateinamen, wie Sie es zuvor mit Ihren eigenen haben.

10. Initialisieren Sie die Bibliothek

Nächstes fügen Sie die Bibliothek hinzu und initialisieren Sie die Langweilig Klasse in Ihrem Code. Fügen Sie diesen Code neben Ihrem PHP-Code hinzu:

 erfordern __dir__. '/vendor/autoload.php';
Verwenden Sie Google \ Cloud \ Language \ LEITAGECLIENT;
$ projectid = 'NLP-Tutorial-1-1543506531329';
$ Sprache = Neue Sprache ([
    'projectid' = & gt; $ projecid.
]); 

Beginnen Sie mit der Anforderung des Herstellers Autoload. Dies ist in Python oder Knoten ähnlich, wenn Sie Ihre Abhängigkeiten benötigen. Das importieren Langweilig als nächstes, um die Klasse zu nutzen. Definieren Sie Ihr projiziert . Wenn Sie nicht sicher sind, was das ist, können Sie es in Ihrer GCP-Konsole aufnehmen, wo Sie das Projekt ursprünglich einrichten. Schließlich erstellen Sie ein neues Langweilig Objekt mit Ihrem projiziert und weisen Sie es dem zu $ Sprache Variable.

11. Analysieren Sie die Entitäten

Jetzt können Sie mit der NLP-API in Ihrem Code beginnen. Sie können den Inhalt des Formulars an der API einreichen und das Ergebnis erhalten. Im Moment zeigen Sie einfach das Ergebnis als JSON auf dem Bildschirm an. In der Praxis könnten Sie die Ergebnisse bewerten und verwenden Sie, wie Sie möchten. Sie können auf den Benutzer basierend auf den Ergebnissen antworten, suchen Sie weitere Informationen oder führen Sie Aufgaben aus.

Um zu rekapieren, wird die Entitätsanalyse Informationen über das "What" oder das in den Text gefundene "Dinge" zurückgeben.

 $ result = $ sprach- & gt; Analysieren ($ Inhalt);
foreach ($ ergebnis- & gt; Entitäten () als $ e) {
echo "& lt; div class = 'Ergebnis' & gt;";
$ result = json_encode ($ e, json_pressty_print);
Echo $ Ergebnis;
echo "& lt; / div & gt;";
} 

Dieser Code übermittelt den Inhalt des eingereichten Formulars an die Analyseentitäten Endpunkt und speichert das Ergebnis in der Ergebnis Variable. Dann können Sie über die Liste der Entitäten zurückgegeben werden $ result- & gt; Entitäten () . Um es etwas lesbarer zu machen, können Sie ihn als JSON formatieren, bevor Sie an den Bildschirm ausgeben. Wieder ist dies nur ein Beispiel, um Ihnen zu zeigen, wie Sie es verwenden. Sie können es verarbeiten und auf die Ergebnisse reagieren, jedoch müssen Sie jedoch benötigen.

12. Analysieren Sie das Gefühl

Anstatt das "What" des Inhalts zu kennen, kann es auch wertvoll sein, das Gefühl zu kennen. Wie fühlt sich der Benutzer an? Wie fühlen sie sich für die Entitäten in ihrer Kommunikation?

Aktualisieren Sie den Code, um das zu verwenden Analyseentitätsversion. Endpunkt. Dies wird sowohl die Entitäten wie zuvor bewerten, sondern auch einen Sentiment-Score für jeden zurückgeben.

 $ result = $ sprach- & gt; Analyseentitätsentiment ($ Inhalt);

foreach ($ ergebnis- & gt; Entitäten () als $ e) {
echo "& lt; div class = 'Ergebnis' & gt;";
$ result = json_encode ($ e, json_pressty_print);
Echo $ Ergebnis;
echo "& lt; / div & gt;";
} 

Testen mit dem Inhalt über das Formular "Star Wars ist der beste Film aller Zeiten.", Sehen Sie ein ähnliches Ergebnis:

 {"Name": "Star Wars", "Typ": "Work_of_Art", "Metadata": {"Mid": "\ / m \ / 06mmr", "Wikipedia_URL": "https: \ / \ / EN.WIKIPEDIA.org \ / wiki \ / star_wars : "Ordentlich", "Sentiment": {"Größengewicht": 0.6, "Score": 0.6}}], "Sentiment": {"zaziditude": 0.6, "Score": 0.6}}
{"Name": "Film", "Type": "Work_of_Art", "Metadaten": [], "Salience": 0.36506474, "erwähnt": [{"Text": {"content": "film", " StartOffset ": 22}," Type ":" Common "," Sentiment ": {" Größenz ": 0,9," Ergebnis ": 0,9}}]," Sentiment ": {" verdammt ": 0,9," Score ": 0,9 }} 

Dies zeigt eine positive Sentimentswertung des erheblichen Werts. Nun kennen Sie nicht nur die Schlüsselwörter, die der Benutzer kommuniziert, aber auch, wie sie sich darüber fühlen. Ihre App kann angemessen auf diese Daten angemessen reagieren. Sie haben eine klare Identifizierung von "Star Wars" als Hauptthemen mit hoher Sessel. Sie haben einen Wikipedia-Link, um weitere Informationen zu erhalten, wenn Sie diese URL durch denselben API-Anruf zurückführen möchten. Sie wissen auch, dass der Benutzer sich positiv fühlt. Sie können sogar sehen, dass die Aussage das positive Gefühl auf der Qualität davon als Film gewichtet hat. Sehr cool.

Gedanken trennen.

Versuchen Sie, mit anderen Endpunkten zu experimentieren. Überprüfen Sie insbesondere das Analyzesyntax. und classififytext. Endpunkte Diese geben Ihnen noch mehr Teile von Sprachdaten und Klassifizierung der Inhaltsunternehmen.

Dieser Artikel wurde ursprünglich in Ausgabe 315 von veröffentlicht Netz Das weltweit meistverkaufte Magazin für Webdesigner und Entwickler. AUSGABE KAUFEN 315 Hier oder Abonnieren Sie hier .

Zum Thema passende Artikel:

• 7 Riesige Tech-Trends, die Designer jetzt wissen müssen
• So entwerfen Sie ein Chatbot-Erlebnis
• 5 delegative Umwandlungstricks