Memahami pemrosesan bahasa alami

Situs web dan aplikasi dapat memiliki berbagai bagian bergerak termasuk kreatif ujung depan, pemrosesan sisi server, API, dan penyimpanan data. AI dapat menyambungkan salah satu komponen ini.

Di ujung depan, Anda dapat menghubungkan perintah suara, antarmuka chatbot atau elemen kreatif WebGL reaktif. Di bagian belakang, database menggunakan algoritma cerdas untuk memaksimalkan kecepatan dan analisis. API dapat memberikan lapisan abstraksi dari berbagai fungsi AI, dari prediksi hingga pelatihan kolektif.

Jika Anda baru memulai sebagai pengembang dan memerlukan beberapa pointer, cari tahu Cara Membuat Aplikasi , atau kami dapat membantu Anda memilih yang mana Pembangun Situs Web , hosting web. Layanan dan penyimpanan awan menggunakan.

• Chatbots: Apa yang perlu Anda ketahui.

Bahasa alami

Pemrosesan bahasa alami (NLP) berfokus pada interaksi antara mesin dan bahasa manusia. Ini adalah tujuan NLP untuk memproses dan menganalisis sejumlah besar data bahasa untuk meningkatkan komunikasi alami antara manusia dan mesin. Bidang AI ini mencakup pengenalan ucapan, memahami bahasa dan menghasilkan bahasa alami. Fokus kami akan memahami bahasa alami, proses menganalisis dan menentukan makna atau maksud teks.

Ada beberapa konsep yang umum untuk NLP:

• Mendeteksi bahasa. - Memahami bahasa mana yang digunakan dalam teks sangat mendasar untuk mengetahui kamus mana, sintaks dan aturan tata bahasa yang digunakan dalam analisis.
• Ekstraksi entitas - Mengidentifikasi kata-kata kunci dalam frasa, seberapa relevan atau menonjol bagi mereka secara keseluruhan teks dan menentukan apa entitas itu, berdasarkan pelatihan atau basis pengetahuan.
• Analisis sentimen - Menilai tingkat umum 'perasaan' dalam sebuah teks. Apakah umumnya positif atau negatif? Juga, sentimen terkait dengan setiap entitas. Apakah pernyataan mencerminkan perasaan positif atau yang negatif tentang 'subjek'?
• Analisis sintaksis - Memahami struktur teks. Identifikasi atribut seperti kalimat, bagian bicara (mis. Kata benda, kata kerja), suara, jenis kelamin, suasana hati dan tegang.
• Klasifikasi atau Kategorisasi Konten - Mengatur konten teks ke dalam kategori umum untuk memprosesnya secara lebih efisien. Misalnya, New York, London, Paris, Munich adalah 'lokasi' atau 'kota'.

Ada banyak pendekatan teknis untuk menguraikan dan memproses data. Terlepas dari alat NLP mana yang Anda gunakan, Anda harus mengatasi langkah-langkah umum parsing dan analisis. Biasanya teks dipisahkan menjadi potongan logis. Potongan-potongan ini dianalisis dengan data terlatih atau basis pengetahuan dan nilai yang ditugaskan, biasanya berkisar antara 0,0 hingga 1.0 untuk mencerminkan tingkat kepercayaan dalam analisis.

API bahasa alami Google

Kami akan menggunakan API bahasa alami baru yang dikembangkan oleh Google untuk tutorial ini. Ada banyak API yang tersedia tetapi Google memiliki beberapa keunggulan yang bagus, termasuk komputasi awan, kecepatan, basis pengguna dan pembelajaran mesin yang sangat besar. Mesin pencari Google dan alat telah menggunakan AI selama bertahun-tahun. Jadi Anda memanfaatkan semua pengalaman itu dan belajar dengan menggunakan layanan yang menghadap publik.

API digabungkan dengan mudah ke dalam proyek apa pun. Ini menghemat banyak waktu versus pengkodean tangan NLP Anda sendiri. API Resistful yang abstrak memungkinkan Anda untuk berintegrasi dengan hampir semua bahasa yang Anda inginkan melalui panggilan curl umum atau salah satu dari banyak SDKS yang tersedia. Ada beberapa trik untuk didirikan tetapi kami akan menyelesaikannya selangkah demi selangkah.

Klik pada ikon di kanan atas gambar untuk memperbesarnya.

01. Buat Proyek Google Cloud baru

Pergi ke Google cloud platform konsol dan buat proyek baru atau pilih yang sudah ada untuk dikerjakan. Layanan ini gratis untuk digunakan sampai Anda mulai membuat volume permintaan API besar. Anda mungkin perlu mengaitkan info penagihan dengan akun ketika Anda mengaktifkan API tetapi ini tidak dikenakan biaya pada volume rendah dan Anda dapat menghapus layanan setelah Anda selesai menguji jika Anda mau.

02. Aktifkan cloud nl

Jelajahi ke Perpustakaan API. dan pilih NL API. Setelah diaktifkan Anda harus melihat sedikit cek hijau dan pesan 'API diaktifkan' di sampingnya.

03. Buat Akun Layanan

Anda harus mengatur a akun layanan untuk layanan ini. Karena kita akan mengatur penggunaan seperti layanan khas, ini adalah praktik terbaik. Ini juga berfungsi paling baik dengan aliran otentikasi.

04. Unduh Kunci Pribadi

Setelah Anda memiliki proyek dengan API diaktifkan dan akun layanan Anda dapat mengunduh kunci pribadi Anda sebagai file JSON. Perhatikan lokasi file, sehingga Anda dapat menggunakannya di langkah selanjutnya.

Jika Anda memiliki masalah dengan beberapa langkah pertama ada panduan sini Itu membantu, yang berakhir dengan pengunduhan kunci JSON.

05. Tetapkan variabel lingkungan

Selanjutnya, Anda perlu mengatur Google_application_credentials. Variabel lingkungan, sehingga dapat diakses oleh panggilan API kami. Ini menunjuk pada file JSON Anda yang baru saja Anda unduh dan simpan Anda harus mengetik jalur setiap saat. Buka jendela terminal baru dan gunakan perintah ekspor seperti:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Ganti [nama file] Dengan file kunci pribadi Anda dan gunakan path ke file Anda.

Pada Windows Anda dapat melakukan hal yang sama melalui baris perintah, seperti ini:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Catatan: Jika Anda menutup jendela terminal atau konsol Anda, Anda mungkin perlu menjalankannya lagi untuk mengatur variabel.

06. Panggilan ke API

Sekarang Anda siap untuk menggali menggunakan API dan melihat NLP beraksi. Anda akan menggunakan Curl untuk melakukan tes cepat API. Anda juga dapat menggunakan metode ini dari kode Anda.

Permintaan Curl dapat dibuat dalam sebagian besar bahasa, yang berarti Anda dapat membuat panggilan langsung di baris perintah atau menetapkan hasilnya ke variabel dalam bahasa pilihan Anda. Lihat disini Untuk beberapa tips cepat menggunakan Curl.

Mari kita coba permintaan tes, dengan kalimat sederhana. Kami akan menjalankannya melalui analisis. titik akhir.

Di antarmuka terminal atau baris perintah Anda, masukkan perintah berikut:

 Curl -x Post \
     -H "Otorisasi: Pembawa" $ (GCloud Auth Aplikasi-Default-Access-Access-Token) \
     -H Jenis Konten: Aplikasi / JSON; Charset = UTF-8 "\
     --data "{
  'dokumen':{
    'Tipe': 'Plain_Text',
    'Konten': 'John McCarthy adalah salah satu pendiri kecerdasan buatan.'
  },
  'encodingtype': 'utf8'
} "" https://language.googLeapis.com/v1/documents:AnalyZentities"[]
  

   Anda harus melihat hasil JSON setelah dieksekusi. Anda mungkin diminta pertama kali Anda menggunakan ini untuk mengaktifkan API atau mengizinkan akses. Anda dapat menjawab 'ya' atau 'y' untuk prompt itu dan itu harus mengembalikan JSON setelah itu.
  
  

   Ini akan mengembalikan array entri, mirip dengan yang seperti ini yang pertama untuk entri "John McCarthy".
  
  
 {
      "Nama": "John McCarthy",
      "ketik": "orang",
      "Metadata": {
        "Wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scientist)",
        "pertengahan": "/ m / 01svfj"
      },
      "Harience": 0.40979216,
      "Menyebutkan": [
        {
          "Teks": {
            "Konten": "John McCarthy",
            "BeginOffSet": 0
          },
          "Ketik": "Tepat"
        }
      ]
    }, 
  

  
  

   
    catatan:
   
   Anda dapat menggunakan URL alih-alih teks konten dalam parameter konten dari pernyataan curl.
  
  

   Anda dapat melihat di daftar entitas sampel,
   
    nama
   
   diidentifikasi dan
   
    Tipe
   
   , yang ditentukan AI adalah a
   
    ORANG
   
   . Itu juga menemukan pertandingan Wikipedia untuk
   
    nama
   
   dan mengembalikannya. Ini dapat bermanfaat, karena Anda dapat menggunakan URL itu sebagai konten untuk permintaan kedua ke API dan mendapatkan lebih banyak entitas dan informasi tentang yang satu ini. Anda juga dapat melihat
   
    persneling.
   
   Nilai pada 0,4, yang menunjukkan kepentingan relatif signifikan dari entitas dalam konteks teks yang kami berikan. Anda juga dapat melihatnya diidentifikasi dengan benar sebagai
   
    LAYAK
   
   , yang mengacu pada tipe kata benda (kata benda yang tepat), serta berapa banyak kejadian (menyebutkan) entitas dalam teks.
  
  
API akan mengembalikan nilai untuk semua entitas utama dalam teks yang Anda kirim. Ini saja bisa sangat berguna untuk memproses apa yang mungkin dikomunikasikan pengguna pada aplikasi Anda. Terlepas dari apa yang terkandung, ada kemungkinan besar tentang orang tersebut, John McCarthy, dan kami dapat mencari beberapa informasi untuk pengguna berdasarkan ini saja. Kita juga bisa merespons dengan cara yang mencerminkan pemahaman kita pernyataan ini mengacu pada seseorang.
  
  

   Anda dapat terus menggunakan metode ini untuk menguji panggilan yang akan kami gunakan. Anda juga dapat mengatur SDK lokal dalam bahasa yang Anda sukai dan integer ke dalam aplikasi Anda.
  
  

   07. Instal Perpustakaan Klien
  
  

   Saatnya membuat aplikasi berbasis web sederhana untuk menunjukkan bagaimana mengintegrasikan API ke dalam proyek.
  
  

   Untuk aplikasi NLP, umumnya menggunakan python atau node. Untuk menunjukkan keserbagunaan penggunaan API, kami akan menggunakan PHP SDK. Jika Anda ingin mengubah kode menjadi bahasa yang berbeda, ada sumber daya SDK yang bagus
   
    sini
   
   .
  
  

   Mulailah dengan memastikan Anda memiliki folder proyek di server lokal atau jarak jauh Anda. Jika Anda belum memilikinya, dapatkan komposer dan instal ke folder proyek Anda. Anda mungkin memiliki komposer yang sudah diinstal secara global dan itu juga baik-baik saja.
  
  

   Jalankan perintah komposer berikut untuk menginstal file vendor ke proyek Anda:
  
  
 PHP -R "Salin ('https://getcompose.org/installer', 'composer-setup.php');"
php r "jika (hash_file ( 'SHA384', 'komposer-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {echo 'Installer diverifikasi';} else {echo 'Installer korup'; unlink (' komposer-setup.php ');} echo php_eol; "
PHP Composer-Setup.php
php -r "tautan tautan ('komposer-setup.php');"
PHP Composer.phar Membutuhkan Google / Cloud-Language 
  

   Komposer membuat folder vendor di folder proyek Anda dan menginstal semua dependensi untuk Anda.
  
  

   Jika Anda terjebak mengatur ini dan ingin menggunakan PHP, Anda dapat memeriksa sumber daya ini
   
    Menginstal komposer
   
   .
  
  

   08. Buat file baru
  
  

   Jika Anda mengikuti PHP, buat file PHP baru di folder proyek Anda. Namun atur namun Anda suka tetapi sertakan formulir HTML sederhana untuk mengirimkan teks dengan cepat.
  
  

   Berikut ini adalah contoh file PHP dengan formulir:
  
  
 & lt;! DOCTYPE HTML & GT;
& lt; html & gt;
& lt; head & gt;
& lt; judul & gt; net - nlp tutorial & lt; / judul & gt;
& lt; / head & gt;
& lt; tubuh & gt;
& lt; form & gt;
& lt; p & gt; & lt; input type = 'text' id = "konten" nama = "konten" placeholder = "Apa yang bisa saya analisis?" / & gt; & lt; / p & gt;
& lt; p & gt; & lt; input type = 'kirim' nama = 'kirim' id = 'kirim' nilai = 'analisis' & gt; / p & gt;
& lt; / form & gt;
& lt; div class = "Hasil" & gt;
& lt;? php
// kode PHP pergi di sini //
Jika (kosong ($ _ dapatkan ['konten'])) {Die (); }
$ Konten = $ _get ['konten'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 
  

   Kode ini mencakup file HTML dasar dengan formulir, bersama dengan placeholder untuk kode PHP Anda. Kode mulai dengan hanya memeriksa keberadaan variabel konten (dikirimkan dari formulir). Jika belum dikirim, itu hanya keluar dan tidak melakukan apa-apa.
  
  

   09. Buat variabel lingkungan
  
  

   Mirip dengan langkah yang kami lakukan sebelumnya ketika menggunakan Command Line Curl Call, kita perlu mengatur
   
    Google_application_credentials.
   
   variabel. Ini penting untuk mengautentikasi.
  
  

   Di PHP kami menggunakan
   
    Putenv.
   
   perintah untuk mengatur variabel lingkungan. Otentikasi yang dibuat oleh SDK berakhir, jadi Anda perlu memasukkan ini dalam kode Anda untuk itu untuk meraihnya dan mengaturnya setiap kali.
  
  

   Tambahkan kode ini selanjutnya dalam kode PHP Anda:
  
  
 putenv (google_application_credentials = / pengguna / richardmattka / unduhan / nlp tutorial 1-1027228343dc.json '); 
  

   Pasang kembali jalur dan nama file seperti yang Anda lakukan sebelumnya dengan Anda sendiri.
  
  

   10. Inisialisasi perpustakaan
  
  

   Selanjutnya, tambahkan perpustakaan dan inisialisasi
   
    LanguAbligent.
   
   kelas dalam kode Anda. Tambahkan kode ini di sebelah bagian kode PHP Anda:
  
  
 Membutuhkan __dir__. '/vendor/autoload.php';
Gunakan Google \ cloud \ language \ langeageclient;
$ ProjectID = 'NLP-tutorial-1-1543506531329';
$ Bahasa = LanguAblient Baru ([
    'ProjectID' = & gt; $ ProjectID.
]); 
  

   Mulailah dengan mengharuskan vendor autoload. Ini mirip dalam python atau node jika Anda memerlukan dependensi Anda. Impor
   
    LanguAbligent.
   
   Selanjutnya, untuk memanfaatkan kelas. Tentukan ..
   
    proyektid
   
   . Jika Anda tidak yakin apa ini, Anda dapat mencarinya di konsol GCP Anda, di mana Anda mengatur proyek awalnya. Akhirnya, buat yang baru
   
    LanguAbligent.
   
   Objek menggunakan Anda
   
    proyektid
   
   dan menugaskannya ke
   
    $ Bahasa
   
   variabel.
  
  

   11. Analisis entitas
  
  
Sekarang Anda siap untuk mulai menggunakan API NLP dalam kode Anda. Anda dapat mengirimkan konten dari formulir ke API dan mendapatkan hasilnya. Untuk saat ini Anda hanya akan menampilkan hasilnya sebagai JSON ke layar. Dalam praktiknya Anda dapat menilai hasilnya dan menggunakannya dengan cara apa pun yang Anda inginkan. Anda dapat menanggapi pengguna berdasarkan hasil, mencari informasi lebih lanjut atau menjalankan tugas.
  
  

   Untuk rekap, analisis entitas akan mengembalikan informasi tentang 'apa' atau 'hal-hal' yang ditemukan dalam teks.
  
  
 $ Hasil = $ Bahasa- & gt; analisis ($ konten);
foreach ($ hasil- & gt; entitas () sebagai $ e) {
echo "& lt; div class = 'Hasil' & gt;";
$ result = json_encode ($ E, json_print_print);
echo $ hasil;
echo "& lt; / div & gt;";
} 
  

   Kode ini mengirimkan konten dari formulir yang dikirim ke
   
    analisis.
   
   titik akhir dan menyimpan hasilnya di
   
    $ result.
   
   variabel. Kemudian, Anda beralih melalui daftar entitas yang dikembalikan dari
   
    $ hasil- & gt; entitas ()
   
   . Untuk membuatnya sedikit lebih mudah dibaca, Anda dapat memformatnya sebagai JSON sebelum menghasilkan ke layar. Sekali lagi, ini hanya contoh untuk menunjukkan kepada Anda cara menggunakannya. Anda dapat memprosesnya dan bereaksi terhadap hasil namun yang Anda butuhkan.
  
  

   12. Menganalisis sentimen
  
  
   

    

     

      

       
        
        
        
       
      
     
    
    
   
  
  

   Alih-alih mengetahui 'apa' konten, itu juga bisa berharga untuk mengetahui sentimennya. Bagaimana perasaan pengguna? Bagaimana perasaan mereka tentang entitas dalam komunikasi mereka?
  
  

   Perbarui kode untuk menggunakan
   
    AnalisisentitasSentimen.
   
   titik akhir. Ini akan menilai kedua entitas seperti sebelumnya tetapi juga mengembalikan skor sentimen untuk masing-masing.
  
  
 $ result = $ Bahasa- & gt; analisisentitasentitas ($ konten);

foreach ($ hasil- & gt; entitas () sebagai $ e) {
echo "& lt; div class = 'Hasil' & gt;";
$ result = json_encode ($ E, json_print_print);
echo $ hasil;
echo "& lt; / div & gt;";
} 
  

   Menguji dengan konten melalui formulir, "Star Wars adalah film terbaik sepanjang masa.", Anda akan melihat hasilnya mirip dengan ini:
  
  
 {"Nama": "Star Wars", "Tipe": "Work_Of_Art", "Metadata": {"MID": "\ / m \ / 06mmr", "Wikipedia_url": "HTTPS: \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}," arti-penting ": 0,63493526," menyebutkan ": [{" teks ": {" konten ":" Star Wars ": 0}," tipe " : "Tepat", "Sentimen": {"Magnitude": 0.6, "skor": 0,6}}], "sentimen": {"Magnitude": 0.6, "Skor": 0,6, "
{"Nama": "Film", "Tipe": "Work_Of_Art", "Metadata": [], "arti-penting": 0.36506474, "menyebutkan": ["Teks": "Film": "" " beginoffset ": 22}," ketik ":" umum "," sentimen ": {" Magnitude ": 0,9," skor ": 0,9}}]," Skor ": 0,9" }} 
  

   Ini menunjukkan skor sentimen positif dengan nilai signifikan. Anda sekarang tidak hanya tahu kata-kata kunci, pengguna berkomunikasi tetapi juga bagaimana perasaan mereka tentang hal itu. Aplikasi Anda dapat merespons dengan tepat berdasarkan data ini. Anda memiliki identifikasi yang jelas tentang "Star Wars" sebagai subjek utama dengan arti-penting tinggi. Anda memiliki tautan Wikipedia untuk mengambil informasi lebih lanjut jika Anda ingin menjalankan URL itu kembali melalui panggilan API yang sama. Anda juga tahu pengguna merasa positif tentang hal itu. Anda bahkan dapat melihat pernyataan bobot sentimen positif pada kualitasnya sebagai film. Sangat keren.
  
  

   Pikiran perpisahan.
  
  

   Cobalah bereksperimen dengan titik akhir lainnya. Khususnya, periksa
   
    AnalyzeSynTax.
   
   dan
   
    Klasifikasi.
   
   titik akhir. Ini memberi Anda lebih banyak bagian data pidato dan klasifikasi entitas konten.
  
  

   
    Artikel ini awalnya diterbitkan dalam masalah 315 dari
   
   
    
     bersih
    
   
   
    , majalah terlaris di dunia untuk desainer dan pengembang web.
   
   
    
     Beli masalah 315 di sini
    
   
   
    atau
   
   
    
     berlangganan di sini
    
   
   
    .
   
  
  

   
    Artikel terkait:
   
  
  

   

    
     7 tren teknologi besar yang perlu diketahui desainer saat ini
    
   
   

    
     Cara Merancang Pengalaman Chatbot
    
   
   

    
     5 Trik konversi yang berlawanan