Зрозуміти обробку природної мови

Веб-сайти та програми можуть мати різні рухомі частини, включаючи фронтальний креативний, обробка сервера, API та зберігання даних. AI може підключити будь-яку з цих компонентів.

На передньому кінці ви можете підключити голосові команди, інтерфейси ChatBot або креативні елементи реактивного WebGL. На задній частині, бази даних використовують інтелектуальні алгоритми, щоб максимально збільшити швидкість та аналіз. API може забезпечити шар абстракції з широкого кола функцій АІ, від прогнозів до колективного навчання.

Якщо ви просто починаєте як розробника, і вам потрібні деякі покажчики, дізнайтеся Як зробити додаток або ми можемо допомогти вам вибрати, який Веб-будівельник , веб хостинг сервіс і хмара зберігання використовувати.

• ChatBots: Що потрібно знати.

Природна мова

Обробка природної мови (НЛП) зосереджується на взаємодії між машинами та мовами людства. Це мета НЛП для обробки та аналізу великих кількостей мовних даних для поліпшення природного зв'язку між людьми та машинами. Ця сфера АІ включає розпізнавання мовлення, розуміння мови та створення природної мови. Наша увага буде спрямована на розуміння природної мови, процесу аналізу та визначення сенсу або наміру тексту.

Є кілька концепцій, загальних для НЛП:

• Виявлення мови - Розуміння того, яка мова використовується в тексті, є основним для знання яких словників, синтаксичних та граматичних правил для використання в аналізі.
• Видобуток суб'єкта - Визначення ключових слів у фразах, наскільки актуальним або важливим є загальний текст та визначення того, що є суб'єктами, засновані на базах навчання або знань.
• Аналіз настроїв - Оцінка загального рівня "почуття" в тексті. Це зазвичай позитивний або негативний? Також, настрої, пов'язані з кожним предметом. Чи має твердження позитивні почуття або негативні про "предмет"?
• Синтаксичний аналіз - Розуміння структури тексту. Визначте атрибути, такі як речення, частини мови (наприклад, іменник, дієслово), голос, стать, настрій і напруженість.
• Класифікація вмісту або класифікація - організація вмісту тексту в спільні категорії для більш ефективно обробки їх. Наприклад, Нью-Йорк, Лондон, Париж, Мюнхен - всі "місця" або "міста".

Існує численні технічні підходи до аналізу та обробки даних. Незалежно від того, який інструмент NLP ви використовуєте, вам доведеться вирішувати спільні кроки аналізу та аналізу. Як правило, текст розділений на логічні шматки. Ці шматки аналізуються проти підготовлених даних або баз знань та призначених значень, як правило, від 0,0 до 1,0, щоб відобразити рівень довіри до аналізу.

API природної мови Google

Ми будемо використовувати нову природу API, розроблену компанією Google за цей підручник. Існує численні API, але Google має деякі приємні переваги, включаючи хмарні обчислення, швидкість, неймовірно велика база користувачів та машинобудування. Пошукові двигуни та інструменти Google використовуються AI протягом багатьох років. Отже, ви використовуєте весь цей досвід та навчання, використовуючи свої послуги з громадськістю.

Apis легко враховується в будь-який проект. Це економить багато часу у порівнянні з ручним кодуванням власної НЛП. Його абстрактне спокійне API дозволяє вам інтегруватися практично з будь-якою мовою, яку ви бажаєте, завдяки звичайним завиткам, або один з численних SDKS. Є кілька трюків для налаштування, але ми будемо працювати через це один крок за один раз.

Натисніть значок у верхньому правому куті зображення, щоб збільшити його.

01. Створіть новий проект Google Cloud

Йти до Консоль платформи Cloud Cloud Cloud і створіть новий проект або виберіть існуючий для роботи. Служба вільно використовувати, доки ви не почнете робити великий обсяг запитів API. Вам може знадобитися пов'язати інформацію про платіжну інформацію з обліковим записом, коли ви активуєте API, але це не стягується за низьким рівнем гучності, і ви можете видалити послуги після того, як ви виконуєте тестування, якщо хочете.

02. Увімкніть хмар NL

Перегляньте Бібліотека API і виберіть API NL. Одного разу увімкнено, ви повинні побачити невелику зелену перевірку, а повідомлення "API увімкнено" поруч з ним.

03. Створіть обліковий запис служби

Вам потрібно буде встановити Сервісний рахунок Для цієї служби. Оскільки ми збираємося налаштувати використання, як типова служба, це найкраща практика. Він також найкраще працює з потоком автентифікації.

04. Завантажте приватний ключ

Після того, як ви маєте проект із увімкненим API та облікового запису сервісу, ви можете завантажити ваш приватний ключ як файл JSON. Візьміть до уваги місця розташування файлу, щоб ви могли використовувати його на наступних кроках.

Якщо у вас виникли проблеми з першими кількома кроками, є керівництво тут Це допомагає, що закінчується завантаженням ключа JSON.

05. Встановіть змінну середовища

Далі потрібно встановити Google_application_credentals Екологічна змінна, тому її можна отримати доступ до наших дзвінків API. Це вказує на ваш файл JSON, який ви просто завантажили та зберігає, ви повинні ввести шлях кожного разу. Відкрийте вікно нового терміналу та використовуйте команду експорту, як це:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Замінити [ім'я файлу] За допомогою вашого приватного ключа та використання шляху до вашого файлу.

У Windows ви можете зробити те ж саме через командний рядок, як це:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Примітка. Якщо ви закриваєте термінал або консоль, вам може знадобитися запустити це ще раз, щоб встановити змінну.

06. Зробіть дзвінок на API

Тепер ви готові копати, використовуючи API і побачити NLP у дії. Ви будете використовувати Curl, щоб зробити швидкі випробування API. Ви також можете використовувати цей метод з вашого коду.

Запитання Curl можна зробити в більшості мов, що означає, що ви можете зробити дзвінки безпосередньо в командному рядку або призначити результат до змінної на мові за вашим вибором. Послухайте Для деяких швидких порад щодо використання Curl.

Давайте спробуємо прохання просте, з простим реченням. Ми запустимо його через аналіз кінцева точка.

У вашому інтерфейсі терміналу або командного рядка введіть таку команду:

 Curl -x Post \
     -H "Авторизація: носій" $ (GCloud Autho Application-за замовчуванням Print-Access-token)
     -H "Тип вмісту: застосування / json; charset = utf-8"
     --data "{
  "Документ": {
    "Введіть": "PLAIN_TEXT",
    "Вміст": "Джон Маккарті є одним із заснування батьків штучного інтелекту".
  },
  'encodingtype': 'utf8'
} "https://language.googleas.com/v1/documments:analyzeentities" 

Ви повинні побачити JSON результат після виконання. Ви можете переглянути перший раз, коли ви використовуєте, щоб активувати API або дозволити доступ. Ви можете відповісти "так" або "y" до цього підказка, і після цього він повинен повернути JSON.

Він поверне масив записів, подібних до тих, хто перший для вступу "Джон МакКарті".

 {
      "Назва": "Джон МакКарті",
      "Тип": "людина",
      "Метадані": {
        "Wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(compuper_scientist)",
        "Середина": "/ м / 01svfj"
      },
      "Sarience": 0.40979216,
      "згадується": [
        {
          "Текст": {
            "Вміст": "Джон Маккарті",
            "beginoffset": 0
          },
          "Введіть": "Правильне"
        }
      ]
    }, 

Примітка: Ви можете використовувати URL-адресу замість тексту вмісту у параметрі контенту з виступу Curl.

Ви можете бачити в лістингу зразків, то назва ідентифіковано і тип , який визначається АІ Людина . Він також знайшов матч вікіпедії для назва і повернувся це. Це може бути корисним, оскільки ви можете використовувати цю URL як вміст для другого запиту до API та отримати ще більше суб'єктів та інформації на цьому. Ви також можете побачити розпізнавання Значення на 0,4, що вказує на значну відносну важливість суб'єкта господарювання в контексті тексту, який ми надаємо. Ви також можете побачити, що він правильно визначений як Правильний , що стосується іменного типу (правильного іменника), а також скільки випадків (згадує) суб'єкта у тексті.

API поверне значення для всіх ключових об'єктів у тексті, який ви подаєте. Ось це може бути надзвичайно корисним для обробки того, що користувач може спілкуватися з вашим додатком. Незалежно від того, що містяться пропозиція, є хороший шанс, що стосується людини, Джон Маккарті, і ми могли б шукати деяку інформацію для користувача, заснованого на цьому. Ми також можемо відповісти таким чином, що відображає наше розуміння цієї заяви відноситься до людини.

Ви можете продовжувати використовувати цей метод для перевірки дзвінків, які ми будемо використовувати. Ви також можете налаштувати локальний SDK у мові, який ви віддаєте перевагу та цілі у додаток.

07. Встановіть клієнтську бібліотеку

Час, щоб зробити простий веб-додаток, щоб продемонструвати, як інтегрувати API у проекти.

Для додатків NLP це загальне для використання Python або вузла. Щоб показати універсальність використання API, ми будемо використовувати PHP SDK. Якщо ви хочете налаштувати код на іншу мову, є великий ресурс SDKS тут .

Почніть, переконавшись, що у вашому локальному або віддаленому сервері встановлено папку проекту. Якщо у вас вже немає, отримайте композитор та встановіть у папку проекту. Можливо, ви вже встановили композитор, і це теж добре.

Запустіть наступну команду композитора, щоб встановити файли постачальника до вашого проекту:

 PHP -R "Копіювати (" https://getcomposer.org/installer "," композитор-setup.php ");"
PHP -r «, якщо (hash_file ( 'SHA384', 'композитор-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {відлуння 'Монтажник перевірити';} ще {відлуння 'Монтажник корумповані'; Unlink (» composer-setup.php ');} echo php_eol; "
php composer-setup.php
php -r "від'єднати (" композитор-setup.php ");"
PHP Composer.phar вимагає Google / Cloud-Language 

Композитор робить папку постачальника у папці проекту та встановлює всі залежності для вас.

Якщо ви застрягли налаштувати це і хочете використовувати PHP, ви можете перевірити цей ресурс на Встановлення композитора .

08. Створіть новий файл

Якщо ви стежите за PHP, створіть новий файл PHP у папці проекту. Встановіть це, але вам подобається, але включати просту HTML-форму, щоб швидко подати текст.

Ось приклад PHP-файлу з формою:

 & lt;! DOCTYPE HTML & GT;
& lt; html & gt;
& lt; head & gt;
& lt, title & gt; nlp tutorial & lt; / title & gt;
& lt; / head & gt;
& lt; body & gt;
& lt; форма & gt;
& lt; p & gt; & lt; вхідний тип = 'text' id = "вміст" name = "вміст" placeholder = "Що я можу проаналізувати?" / & gt; & lt; / p & gt;
& lt; p & gt; & lt; Вхідний тип = 'Надіслати назву =' Надіслати 'id =' Надіслати 'значення =' аналізувати »& gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div class = "результати" & gt;
& lt;? PHP
// PHP-код іде тут //
якщо (порожній ($ _ отримати ['вміст'])) {die (); }
$ content = $ _get ['Content'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Код містить основний HTML-файл з формою, а також заповнювач для вашого PHP-коду. Код починається, просто перевіряючи наявність змінної вмісту (представлена ​​з форми). Якщо це ще не подано, це просто виходить і нічого не робить.

09. Зробіть змінну навколишнього середовища

Подібний до кроку, який ми раніше робили, коли використовуючи Cover Courl Courl, ми повинні встановити Google_application_credentals змінна. Це важливо для перевірки автентичності.

У PHP ми використовуємо путень команду встановити змінну середовища. Аутентифікація, створена SDK, закінчується, тому вам потрібно включити це у вашому коді, щоб він захопити його та встановити його кожного разу.

Додайте цей код далі у вашому PHP-коді:

 Putenv ('google_application_credentals = / users / richardmattka / завантаження / nlp підручник 1-1027228343dc.json'); 

Замініть маршрут та ім'я файлу, коли ви зробили раніше.

10. Ініціалізація бібліотеки

Далі додайте бібліотеку та ініціалізувати Млявий клас у вашому коді. Додайте цей код поруч із розділом PHP-коду:

 вимагає __dir__. '/vendor/autoload.php';
Використовуйте Google Cloud \ Мова \ languagececlient;
$ project = 'nlp-tutorior-1-1543506531329';
$ Мова = Нова LanguageClient ([
    'projectid' = & gt; $ projectid
]); 

Почати, вимагаючи автозавантаження постачальника. Це схоже на Python або вузол, якщо вам потрібні ваші залежності. Імпортувати Млявий Далі, щоб скористатися класом. Визначте свій проектний . Якщо ви не впевнені, що це, ви можете шукати його в консолі GCP, де ви створили проект спочатку. Нарешті, створіть новий Млявий об'єкт за допомогою вашого проектний і призначити його $ Мова змінна.

11. Аналіз суб'єктів господарювання

Тепер ви готові почати використовувати API NLP у вашому коді. Ви можете подати вміст від форми до API та отримати результат. Тепер ви просто покажете результат як JSON на екран. На практиці ви можете оцінити результати та використовувати їх будь-яким способом. Ви можете відповісти користувачеві на основі результатів, шукайте більше інформації або виконати завдання.

Для Recap, аналіз об'єкта поверне інформацію про "що" або "речі", знайдені в тексті.

 $ result = $ Мова & GT; Аналізування ($ Content);
foreach ($ result- & gt; суб'єкти () як $ e) {
echo "& lt; div class =" результат "& gt;";
$ result = json_encode ($ e, json_pretty_print);
echo $ результат;
echo "& lt; / div & gt;";
} 

Цей код подає вміст з поданої форми до аналіз кінцева точка і зберігає результат у $ result змінна. Тоді ви іграєте над переліком сутностей, повернуто $ result- & gt; суб'єкти () . Щоб зробити це трохи більш читання, ви можете відформатувати його як JSON перед виведенням на екран. Знову ж таки, це лише приклад, який покаже вам, як його використовувати. Ви можете обробити його і реагувати на результати, однак вам потрібно.

12. Проаналізуйте почуття

Замість того, щоб знати "Що" змісту, він також може бути цінним, щоб знати почуття. Як відчуває користувач? Як вони відчувають себе в своїх комунікаціях?

Оновіть код, щоб використовувати проаналізування кінцева точка. Це буде оцінювати як суб'єкти, як і раніше, але також повертає оцінку настроїв для кожного.

 $ result = $ Мова- & gt; Аналізентизм ($ Content);

foreach ($ result- & gt; суб'єкти () як $ e) {
echo "& lt; div class =" результат "& gt;";
$ result = json_encode ($ e, json_pretty_print);
echo $ результат;
echo "& lt; / div & gt;";
} 

Тестування з вмістом через форму, "Star Wars - найкращий фільм всіх часів"., Ви побачите результат, подібного до цього:

 {"Назва": "Зоряні війни", "Тип": "Work_of_art", "Метадані": {"Середина": "\ / м \ / 06mmr", "Wikipedia_url": "HTTPS: \ / / en.wikipedia.org \ / wiki \ / star_wars "}," salience ": 0.63493526," Mentions ": [STAR WARS", "BEGINOSFSET": 0}, "Тип" : "Правильно", "Настрої": {"величина": 0.6, "Оцінка": 0.6}}], "Настрої": {"Величина": 0.6, "Оцінка": 0.6}}
{"Назва": "Фільм", "Тип": "Work_of_art", "Метадані": [], "Salience": 0.36506474, "Mentions": ["Текст": {"Content": "Movie", "," BEGINOSFSET ": 22}," Тип ":" Загальні "," Настрої ": {" Величина ": 0.9," Оцінка ": 0.9}}]," Настрої ": {" Величина ": 0.9," Оцінка ": 0.9 }} 

Це показує значне значення позитивного настрою. Не тільки ви зараз знаєте, що ключові слова користувач спілкується, але і як вони відчувають себе. Ваша програма може відповідати на основі цих даних. Ви маєте чітке ідентифікацію "Зоряні війни" як основний предмет з високим рівнем. У вас є посилання Wikipedia, щоб захопити більше інформації, якщо ви хочете запустити URL-адресу назад через той самий виклик API. Ви також знаєте, що користувач відчуває позитивно про це. Ви навіть можете побачити висловлювання, ваги позитивні почуття на якість його як фільм. Дуже круто.

Розставання думок

Спробуйте експериментувати з іншими кінцевими точками. Зокрема, перевірте Аналіз і класифікаціятекст кінцеві точки. Вони дають вам ще більше частин мовних даних та класифікацію об'єктів вмісту.

Ця стаття була опублікована у випуску 315 сітка , журнал найкращого у світі для веб-дизайнерів та розробників. Купити проблему 315 тут або Підписатися тут .

Пов'язані статті:

• 7 величезних технологічних тенденцій, які дизайнери повинні знати прямо зараз
• Як спроектувати досвід ChatBot
• 5 Контрувальні перетворення трюків