doğal dil işleme anlayışı

Web siteleri ve uygulamalar, ön uç yaratıcı, sunucu tarafı işleme, API'ler ve veri depolaması dahil olmak üzere çeşitli hareketli parçalara sahip olabilirler. AI, bu bileşenlerin herhangi birini takabilir.

Ön uçta, sesli komutları, chatbot arabirimlerini veya reaktif webgl yaratıcı elemanları bağlayabilirsiniz. Arka uçta, veritabanları hız ve analizi en üst düzeye çıkarmak için akıllı algoritmalar kullanır. API'ler, Tahminlerden toplu eğitime kadar çok çeşitli AI fonksiyonlarından bir soyutlama tabakası sağlayabilir.

Sadece bir geliştirici olarak başlıyorsanız ve bazı işaretçilere ihtiyacınız varsa, öğrenin Bir uygulama nasıl yapılır ya da hangisini seçmenize yardımcı olabiliriz Web Sitesi Oluşturucu , ağ sağlayıcısı hizmet ve Bulut depolama kullanmak.

• Chatbots: Bilmeniz gerekenler.

Doğal lisan

Doğal dil işleme (NLP), makineler ve insan dilleri arasındaki etkileşimlere odaklanır. İnsanlar ve makineler arasındaki doğal iletişimi geliştirmek için NLP'nin engin miktarını işlemek ve analiz etmek için NLP'nin amacıdır. AI'nin bu alanı konuşma tanımasını, dili anlama ve doğal dil üretmesini içerir. Odağımızın doğal dili, bir metnin anlamını veya niyetini analiz etme ve belirleme sürecini anlama sürecinde olacaktır.

NLP için ortak bir kavram var:

• Dili tespit etmek - Metinde hangi dilin kullanıldığını anlamak, hangi sözlükleri, sözdizimini ve gramer kurallarının analizde kullanılacağını bilmek için esastır.
• Varlık çıkarma - İfadelerdeki anahtar kelimeleri, genel metnin için ne kadar alakalı veya gözetlendikleri ve varlıkların eğitime veya bilgi tabanlarına göre ne olduğunu belirleme.
• Duyarlılık analizi - Bir metinde genel 'duygu' seviyesinin değerlendirilmesi. Genellikle olumlu mu yoksa olumsuz mu? Ayrıca, her bir varlıkla ilgili duyarlılık. İfade, 'konu' hakkında olumlu duyguları veya olumsuzları yansıtıyor mu?
• Sözdizimsel analiz - Metnin yapısını anlama. Cümleler, konuşmanın parçaları (örneğin, isim, fiil), ses, cinsiyet, ruh hali ve gergin gibi öznitelikleri tanımlayın.
• İçerik sınıflandırması veya kategorizasyonu - Metnin içeriğini daha verimli bir şekilde işlemek için ortak kategorilere dönüştürmek. Örneğin, New York, Londra, Paris, Münih'in hepsi 'yerler' veya 'şehirler'.

Verilerin ayrışmasına ve işlenmesi için çok sayıda teknik yaklaşım vardır. Hangi NLP aracını kullandığınızdan bağımsız olarak, ayrıştırma ve analizin ortak adımlarını ele almanız gerekecektir. Tipik olarak metin mantıksal parçalara ayrılır. Bu parçalar, eğitimli veri veya bilgi tabanlarına karşı analiz edilir ve analizdeki güven seviyesini yansıtacak şekilde 0.0 ila 1.0 arasında değişen değerler.

Google'ın Doğal Dili API

Bu eğitim için Google tarafından geliştirilen yeni doğal dil API'sini kullanacağız. Çok sayıda API var, ancak Google'ın bulut bilgisayar, hız, inanılmaz derecede büyük bir kullanıcı tabanı ve makine öğrenmesi de dahil olmak üzere bazı güzel avantajları var. Google'ın arama motorları ve araçları yıllardır AI kullanıyor. Bu yüzden, kamusal yüzlü hizmetlerini kullanarak tüm bu deneyim ve öğrenmeyi kullanıyorsunuz.

API'ler herhangi bir projeye kolayca dahil eder. Bu, kendi NLP'nizi elle kodlamaya karşı çok zaman kazandırır. Soyutlanan dinlendirici API, ortak kıvrılma aramaları veya mevcut sayısız SDK'lardan biri aracılığıyla istediğiniz herhangi bir dili entegre etmenizi sağlar. Kurulacak birkaç püf noktası var ama bir seferde bir adım boyunca çalışacağız.

Görüntünün sağ üst kısmındaki simgeye tıklayın.

01. Yeni Google Cloud Projesi oluşturun

Gitmek Google Cloud Platform Konsolu ve yeni bir proje oluşturun veya çalışmak için mevcut olanı seçin. Servis, büyük bir API istekleri yapmaya başlayana kadar kullanımı ücretsizdir. API'yi etkinleştirdiğinizde fatura bilgilerini hesaba katmanız gerekebilir, ancak bu düşük ses seviyesinde şarj edilmez ve isterseniz test yaptıktan sonra hizmetleri kaldırabilirsiniz.

02. Bulut NL'yi Etkinleştir

Göz at API Kütüphanesi ve NL API'yi seçin. Etkinleştirildiğinde, biraz yeşil bir çek ve 'API etkin' mesajı yanında görmelisin.

03. Bir servis hesabı oluşturun

Kurmanız gerekecek hizmet hesabı Bu hizmet için. Tipik bir hizmet gibi kullanımı ayarlayacağımız için, bu en iyi uygulama. Aynı zamanda kimlik doğrulama akışıyla en iyi şekilde çalışır.

04. Özel Anahtar İndir

API etkin ve bir hizmet hesabı ile bir projeye sahip olduğunuzda, özel anahtarınızı bir JSON dosyası olarak indirebilirsiniz. Dosyanın yerini not alın, böylece bir sonraki adımda kullanabilirsiniz.

İlk birkaç adımda herhangi bir sorun yaşarsanız, bir rehber var. İşte Bu, JSON anahtarının indirilmesiyle sonuçlanıyor.

05. Çevre değişkenini ayarlayın

Sonra, ayarlamanız gerekir. Google_Application_Credentials Çevresel değişken, bu nedenle API çağrılarımızla erişilebilir. Bu, JSON dosyanıza sadece indirdiğiniz ve her seferinde yolu yazmak zorunda kaldığınız için sizi kaydeder. Yeni bir terminal penceresi açın ve aşağıdaki gibi dışa aktarma komutunu kullanın:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Değiştirmek [dosya adı] Özel anahtar dosyanızla ve dosyanızın yolunu kullanın.

Windows'ta aynı şeyi komut satırı üzerinden yapabilirsiniz, böyle:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Not: Terminal veya konsol pencerenizi kapatırsanız, değişkeni ayarlamak için tekrar çalıştırmanız gerekebilir.

06. API'ye bir arama yapın

Şimdi API'yi kullanmaya ve NLP'yi eylemde görmeye hazırsınız. API'nin hızlı testlerini yapmak için curl kullanacaksınız. Bu yöntemi kodunuzdan da kullanabilirsiniz.

Kıvrılma istekleri çoğu dilde yapılabilir, bu da çağrıları doğrudan komut satırında yapabilirsiniz veya sonucu seçtiğiniz dilde bir değişkene atayabilirsiniz. Buraya bak Curl kullanarak bazı hızlı ipuçları için.

Basit bir cümle ile bir test talebini deneyelim. Ondan koşacağız analizler bitiş noktası.

Terminalinizde veya komut satırı arayüzünüzde, aşağıdaki komutu girin:

 Curl -x Post \
     -H "Yetkilendirme: Taşıyıcı" $ (GCLOUD Auth Application-Varsayılan Baskı-Access-Token) \
     -H "İçerik türü: Uygulama / JSON; Charset = UTF-8" \
     --Data "{
  'Belge': {
    'Tip': 'plain_text',
    'İçerik': 'John McCarthy, yapay zekanın kurucu babalarından biridir.'
  }
  'EncodingType': 'UTF8'
} "" https://language.googleapis.com/v1/documents:Analyzeentities"Г198]
  

   Yürütüldükten sonra bir JSON sonucu görmelisiniz. API'yi etkinleştirmek veya erişime izin vermek için bunu ilk kullandığınızdan istenebilir. 'Evet' ya da 'Y' Cevap verebilirsin ve bundan sonra JSON'u iade etmelidir.
  
  

   "John McCarthy" girişi için birincisi gibi olanlara benzer bir dizi giriş döndürür.
  
  
 {
      "İsim": "John McCarthy",
      "Tipi": "Kişi",
      "MetaTata": {
        "wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scentist)",
        "Orta": "/ m / 01svfj"
      }
      "SALIENCE": 0.40979216,
      "Mentions": [
        {
          "Metin": {
            "İçerik": "John McCarthy",
            "BeginOffset": 0
          }
          "Tip": "Uygun"
        }
      ]
    }, 
  

  
  

   
    Not:
   
   Curl ifadesinin içerik parametresinde içerik metni yerine bir URL kullanabilirsiniz.
  
  

   Örnek varlık listesinde görebilirsiniz.
   
    isim vermek
   
   tanımlandı ve
   
    tip
   
   , AI'nin belirlediği bir
   
    KİŞİ
   
   . Ayrıca bir Wikipedia maçı buldu.
   
    isim vermek
   
   ve bunu iade etti. Bu, bu URL'yi API'ye ikinci bir istek için içerik olarak kullanabileceğiniz ve bunun hakkında daha fazla varlık ve bilgi almak için faydalı olabilir. Ayrıca görebilirsiniz
   
    anlaşmazlık
   
   0.4'teki değer, varlığın sağladığımız metin bağlamında önemli bir göreceli önemini gösterir. Ayrıca, doğru bir şekilde tanımlandığını da görebilirsiniz.
   
    Uygun
   
   , isim türünü (uygun bir isim), aynı zamanda metindeki varlığın kaç oluşumunu (next) anlamına gelir.
  
  
API, gönderdiğiniz metnin tüm ana varlıkları için değerleri iade edecektir. Bu tek başına, bir kullanıcının uygulamanızla iletişim kurabileceğini işlemek için son derece faydalı olabilir. Cümlenin ne olduğu görüldüğünden bağımsız olarak, kişi hakkında iyi bir şans var, John McCarthy, tek başına bu dayanan kullanıcı için bazı bilgiler arayabiliriz. Ayrıca, bu ifadenin bir kişiye atıfta bulunduğunu anladığımız bir şekilde yanıtlayabiliriz.
  
  

   Kullandığımız aramaları test etmek için bu yöntemi kullanmaya devam edebilirsiniz. Ayrıca yerel SDK'yı, tercih ettiğiniz bir dilde ve uygulamanıza tamsayıya ayarlayabilirsiniz.
  
  

   07. İstemci Kütüphanesini Yükle
  
  

   API'yı nasıl projelere nasıl entegre edileceğini göstermek için basit bir web tabanlı uygulama yapma zamanı.
  
  

   NLP uygulamaları için Python veya düğümü kullanmak yaygındır. API'leri kullanmanın çok yönlülüğünü göstermek için, PHP SDK'yı kullanacağız. Kodu farklı bir dile sokmak istiyorsanız, SDK'ların büyük bir kaynağı var.
   
    İşte
   
   .
  
  

   Yerel veya uzak sunucunuzda ayarlanmış bir proje klasörü olduğundan emin olun. Zaten sahip değilseniz, besteci alın ve proje klasörünüze yükleyin. Kompresör zaten global olarak kurulmuş olabilir ve bu da iyi.
  
  

   Satıcı dosyalarını projenize yüklemek için aşağıdaki besteci komutunu çalıştırın:
  
  
 PHP -R "Kopyala ('https://getcomposer.org/Installer', 'Composer-setup.php');"
PHP r "ise (hash_file ( 'SHA384', 'besteci-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {eko 'Yükleyici doğrulandı'} else {echo 'Yükleyici bozuk'; unlink (' besteci-setup.php ');} echo php_eol; "
php besteci-setup.php
PHP -R "Unlink ('besteci-setup.php');"
PHP Composer.Phar Google / Cloud-Dili gerektirir 
  

   Besteci, proje klasörünüzde bir satıcı klasörü yapar ve tüm bağımlılıkları sizin için yükler.
  
  

   Bunu ayarlamaya sıkışıp PHP kullanmak istiyorsanız, bu kaynağı kontrol edebilirsiniz.
   
    Besteci yükleme
   
   .
  
  

   08. Yeni bir dosya oluştur
  
  

   PHP'de takip ediyorsanız, Proje klasörünüzde yeni bir PHP dosyası oluşturun. İstediğiniz gibi ayarlayın, ancak metni hızlı bir şekilde göndermek için basit bir HTML formu ekleyin.
  
  

   İşte formu olan bir örnek PHP dosyası:
  
  
 & lt;! DOCTYPE HTML & GT;
& lt; html & gt;
& lt; head & gt;
& lt; unvanı ve GT; NET - NLP eğitimidir; / ​​unvan & gt;
/ head & gt;
& lt; vücut ve gt;
& lt; form ve gt;
& lt; giriş tipi = 'text' id = "İçerik" adı = "İçerik" yer tutucu = "Ne analiz edebilirim?" / & gt; / p & gt;
& lt; giriş türü = 'Gönder' adı = 'Gönder' ID = 'Gönder' değeri = 'Analyze' & GT; / P & GT;
& lt; / form & gt;
& lt; div sınıf = "sonuçlar" & gt;
PHP?
// PHP kodu buraya gidiyor //
if (boş ($ _ 'in [' içeriği '])) {die (); }
$ içerik = $ _GET ['İçerik'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 
  

   Kod, PHP kodunuz için bir yer tutucusuyla birlikte, bir form içeren bir temel HTML dosyası içerir. Kod, içerik değişkeninin varlığını kontrol ederek başlar (formdan gönderilir). Henüz gönderilmezse, sadece çıkmaz ve hiçbir şey yapmaz.
  
  

   09. Çevre değişkenini yapın
  
  

   Komut satırı kıvır çağrısını kullanırken daha önce yaptığımız adıma benzer şekilde, ayarlamamız gerekir.
   
    Google_Application_Credentials
   
   değişken. Bu, kimliğini doğrulamak için gereklidir.
  
  

   PHP'de kullanıyoruz
   
    put
   
   Bir ortam değişkeni ayarlamak için komut. SDK tarafından oluşturulan kimlik doğrulama süresi dolmuş, bu nedenle bunu kapmak için kodunuza dahil etmeniz ve her seferinde ayarlamanız gerekir.
  
  

   PHP kodunuzdaki bu kodu ekleyin:
  
  
 Putenv ('Google_Application_Credentials = / Kullanıcılar / Richardmattka / İndiriler / NLP Eğitimi 1-1027228343dc.json'); 
  

   Yolu ve dosya adını kendinizle yaptığınız şekilde değiştirin.
  
  

   10. Kütüphaneyi başlat
  
  

   Sonra, kütüphaneyi ekleyin ve başlat
   
    Lanet
   
   kodunuzdaki sınıf. PHP kod bölümünüzün yanındaki bu kodu ekleyin:
  
  
 __dir__ gerektirir. '/vendor/autoload.php';
Google \ Cloud \ Dil \ Languageclient'i kullanın;
$ ProjtajID = 'NLP-Tutorial-1-1543506531329';
$ Dil = Yeni LanguagesClient ([[
    'ProjectID' = & gt; $ proje
]); 
  

   Satıcı Autoload gerektirerek başlayın. Bağımlılıklarınızı istiyorsanız, Python veya düğümde bu benzerdir. İthal etmek
   
    Lanet
   
   sonraki, sınıfı kullanmak için. Tanımla
   
    çıkıntı
   
   . Bunun ne olduğundan emin değilseniz, projeyi başlangıçta kurduğunuz GCP konsolunuzda bakabilirsiniz. Sonunda yeni bir yarat
   
    Lanet
   
   kullanarak nesne
   
    çıkıntı
   
   ve onu atayın
   
    Dil
   
   değişken.
  
  

   11. Varlıkları analiz edin
  
  
Şimdi kodunuzdaki NLP API'sini kullanmaya başlamaya hazırsınız. İçeriği formdan API'ye gönderebilir ve sonucu alabilirsiniz. Şimdilik, sonucu ekrana json olarak göstereceksiniz. Uygulamada sonuçları değerlendirebilir ve istediğiniz şekilde kullanın. Kullanıcıya sonuçlara göre yanıt verebilir, daha fazla bilgiye bakın veya görevleri yürütebilirsiniz.
  
  

   Özetlemek için, varlık analizi, metinde 'ne' ya da 'şeyler' hakkında bilgi verecektir.
  
  
 $ sonuç = $ dil- & gt; analizler ($ içerik);
foreach ($ sonuç- & gt; varlıklar () olarak $ e) {
echo "& lt; div class = '' ve gt";
$ Sonuç = json_encode ($ e, json_pretty_print);
echo $ sonucu;
echo "& lt; / div & gt;";
} 
  

   Bu kod, içeriği sunulan formdan
   
    analizler
   
   son nokta ve sonucu depolamak
   
    $ sonuç
   
   değişken. Sonra, iade edilen varlıkların listesinde yineleyin
   
    $ sonuç- & gt; varlıklar ()
   
   . Biraz daha okunaklı hale getirmek için, ekrana çıkmadan önce JSON olarak biçimlendirebilirsiniz. Yine, bu sadece nasıl kullanılacağını göstermek için bir örnek. İşi bulabilir ve ihtiyacınız olan sonuçlara tepki verebilirsiniz.
  
  

   12. Duyguyu analiz edin
  
  
   

    

     

      

       
        
        
        
       
      
     
    
    
   
  
  

   İçeriğin 'neyi' bilmek yerine, duyguyu bilmek de değerli olabilir. Kullanıcı nasıl hissediyor? İletişimindeki varlıklar hakkında nasıl hissediyorlar?
  
  

   Kullanmak için kodu güncelleyin.
   
    AnalizEntitySentument
   
   bitiş noktası. Bu, her iki varlıkları daha önce olduğu gibi değerlendirecektir, ancak her biri için bir duyarlılık puanı döndürecektir.
  
  
 $ Sonuç = $ Dil- & GT; AnalizErentitySentument ($ içerik);

foreach ($ sonuç- & gt; varlıklar () olarak $ e) {
echo "& lt; div class = '' ve gt";
$ Sonuç = json_encode ($ e, json_pretty_print);
echo $ sonucu;
echo "& lt; / div & gt;";
} 
  

   Formla içeriğin test edilmesi, "Star Wars, tüm zamanların en iyi filmidir.", Buna benzer bir sonuç göreceksiniz:
  
  
 {"İsim": "Star Wars", "Tipi": "Work_Of_art", "MetaTata": {"Mid": "\ / m \ / 06mmr", "wikipedia_url": "https: \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}," SALENCES ": 0.63493526," bahseder ": [{" metin ": {" İçerik ":" Star Wars "," BeginOffset ": 0}," Tip " : "Uygun", "Duygu": {"Büyüklük": 0,6, "Skor": 0.6}}], "Duyum: {" Büyüklük ": 0,6," Puan ": 0.6}}
{"İsim": "Film", "Tipi": "Work_Of_Art", "MetaTata": [], "SALENCES": 0.36506474, "Bahisler": [{"Metin": {"İçerik": "Film", " BeginOffset ": 22}," Tipi ":" Ortak "," Duygu ": {" Büyüklük ": 0.9," Skor ": 0.9}}]," Duyum: {"Büyüklük": 0.9, "Puan": 0.9 }} 
  

   Bu, önemli değerlerin olumlu bir hisseleni gösterir. Şimdi sadece ana sözcükleri şimdi tanımıyor musunuz, kullanıcının iletişim kurduğu aynı zamanda nasıl hissettiklerini de biliyorsunuz. Uygulamanız bu verilere göre uygun şekilde yanıt verebilir. Birincil konu olarak birincil konu olarak "Star Wars" nin net bir şekilde tanımladınız. Bu URL'yi aynı API çağrısından geriye doğru çalıştırmak istiyorsanız, daha fazla bilgi almak için bir Wikipedia bağlantınız var. Ayrıca, kullanıcının bunun hakkında olumlu hissettiğini de biliyorsunuz. Açıklamanın, olumlu duyguları bir film olarak nitelendirdiğini bile görebilirsiniz. Çok havalı.
  
  

   Ayrılma düşünceleri
  
  

   Diğer uç noktalarla denemeyi deneyin. Özellikle kontrol edin
   
    analiz
   
   ve
   
    classifytext
   
   bitiş noktaları. Bunlar size daha fazla konuşma verisi ve içerik varlıklarının sınıflandırılmasını sağlar.
  
  

   
    Bu makale başlangıçta 315 sayısında yayınlandı.
   
   
    
     ağ
    
   
   
    , dünyanın web tasarımcıları ve geliştiricileri için en çok satan dergisi.
   
   
    
     Sayı 315 burada satın al
    
   
   
    veya
   
   
    
     abone olun
    
   
   
    .
   
  
  

   
    İlgili Makaleler:
   
  
  

   

    
     7 Tasarımcıların şu anda bilmesi gereken 7 büyük teknoloji eğilimleri
    
   
   

    
     Bir chatbot deneyimi nasıl tasarlanır
    
   
   

    
     5 Üstü Dönüşüm Püf Noktaları