понять обработку естественного языка

Веб-сайты и приложения могут иметь различные движущиеся детали, включающие в себя творческий, обработку боковых серверов, API и хранилище данных. AI может подключить любой из этих компонентов.

На переднем конце вы можете подключить голосовые команды, интерфейсы Chatbot или реактивные элементы для творческих элементов WebGL. На заднем конце базы данных используют интеллектуальные алгоритмы для максимизации скорости и анализа. API могут обеспечить слой абстракции из широкого спектра функций AI, от предсказаний к коллективной подготовке.

Если вы просто начинаете как разработчик и нуждаетесь в некоторых указателях, узнаете Как сделать приложение или мы можем помочь вам выбрать, что Строитель сайта , веб хостинг Сервис и облачное хранилище использовать.

• Chatbots: Что вам нужно знать.

Естественный язык

Обработка естественного языка (NLP) фокусируется на взаимодействиях между машинами и человеческими языками. Это цель NLP для обработки и анализа огромных объемов языковых данных для улучшения естественного общения между людьми и машинами. Это поле AI включает в себя распознавание речи, понимание языка и генерируя естественный язык. Наше внимание уделяется пониманию естественного языка, процесса анализа и определения значения или намерения текста.

Есть несколько концепций, общих для NLP:

• Обнаружение языка - Понимание того, на каком языке используется в тексте, является фундаментальным для знания того, какие словари, синтаксиса и правил грамматики для использования в анализе.
• Добыча сущности - Определение ключевых слов в фразах, насколько актуальны или вариант, они к общему тексту и определения того, что существуют, основанные на основании обучения или знаний.
• Анализ настроений - оценка общего уровня «чувства» в тексте. Это вообще положительный или отрицательный? Также настроение, связанные с каждым объектом. Отражает ли утверждение положительные чувства или негативные о «предмете»?
• Синтаксический анализ - Понимание структуры текста. Определите атрибуты, такие как предложения, части слова (например, существительное, глагол), голос, пол, настроение и время.
• Классификация контента или категоризация - Организация содержания текста в общие категории для более эффективного обрабатывать их. Например, Нью-Йорк, Лондон, Париж, Мюнхен - все «места» или «города».

Есть многочисленные технические подходы к разбору и обработке данных. Независимо от того, какой NLP-инструмент вы используете, вам придется решать общие этапы разбора и анализа. Обычно текст разделен на логические куски. Эти кусочки анализируются против обученных данных или оснований знаний и присвоенных значениях, обычно от 0,0 до 1,0, чтобы отразить уровень доверия к анализу.

API Google натурального языка

Мы будем использовать новый API натурального языка, разработанный Google для этого руководства. Доступны многочисленные API, но у Google есть несколько хороших преимуществ, включая облачные вычисления, скорость, невероятно большая база пользователей и изучение машины. Поисковые системы и инструменты Google использовали AI в течение многих лет. Таким образом, вы используете весь этот опыт и изучаете, используя свои услуги общественности.

API легко включаются в любой проект. Это экономит много времени против ручного кодирования вашего собственного NLP. Его абстрагированные спокойные API позволяют интегрироваться практически с любым языком, который вы хотите с помощью общих вызовов скручиваемости или одного из многочисленных доступных SDK. Есть несколько трюков для настройки, но мы будем работать через нее один шаг за раз.

Нажмите на значок в верхнем правом направлении изображения, чтобы увеличить его.

01. Создать новый проект Google Cloud Project

Перейти к тому Консоль платформы Google Cloud и создать новый проект или выберите существующий для работы. Сервис свободен использовать, пока не начните делать большой объем запросов API. Вам может потребоваться ассоциировать информацию о выставлении счетов с учетной записью, когда вы активируете API, но это не заряжено на низком объеме, и вы можете удалить сервисы после того, как вы закончите тестирование, если вы хотите.

02. Включите облако NL

Обзор АПИ Библиотека и выберите NL API. После включения вы должны увидеть маленькую зеленую проверку, а сообщение «API включено» рядом с ним.

03. Создать учетную запись услуг

Вам нужно будет настроить Сервисная учетная запись Для этой услуги. Поскольку мы собираемся настроить использование, как типичный сервис, это лучшая практика. Он также работает лучше всего с потоком аутентификации.

04. Скачать закрытый ключ

После того, как у вас есть проект с включенным API и учетной записью службы, вы можете скачать свой закрытый ключ в качестве файла JSON. Обратите внимание на расположение файла, чтобы вы могли использовать его на следующих шагах.

Если у вас есть какие-либо проблемы с первыми несколькими шагами, есть руководство здесь Это помогает, что заканчивается загрузкой ключа JSON.

05. Установить переменную среды

Далее вам нужно установить Google_application_credentials. Охрана окружающей среды, поэтому ее можно получить доступ к нашим вызовам API. Это указывает на ваш файл JSON, который вы только что скачали и сохраняете, вы должны вводить путь каждый раз. Откройте новое окно терминала и используйте команду экспорта, как так:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Заменить [имя файла] с вашим файлом вашего частного ключа и используйте путь к вашему файлу.

В Windows вы можете сделать то же самое через командную строку, как это:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Примечание. Если вы закроете окно терминала или консоли, вам может потребоваться запустить это снова, чтобы установить переменную.

06. Сделайте звонок на API

Теперь вы готовы копать использовать API и увидеть NLP в действии. Вы будете использовать Curl, чтобы сделать быстрые тесты API. Вы также можете использовать этот метод из вашего кода.

Запросы скручиваемость могут быть сделаны на большинстве языков, что означает, что вы можете сделать вызовы прямо в командной строке или назначить результат переменной на языке по вашему выбору. Смотри сюда Для некоторых быстрых советов по использованию завиток.

Давайте попробуем запрос на тест, простым предложением. Мы пройдем через это Анализ данных конечная точка.

В интерфейсе вашего терминала или командной строки введите следующую команду:

 Curl -x Post \
     -H "Авторизация: Международный" $ (gcloud auth Action application - токен доступа по умолчанию) \
     -H «Тип контента: приложение / JSON; CHARSET = UTF-8» \
     --данные "{
  'документ':{
    «Тип»: 'plan_text',
    «Содержание»: «Джон Маккарти - один из основателей отцов искусственного интеллекта».
  },
  'encodingtype': 'utf8'
} "" https://language.googleapis.com/v1/documents:analyzeentities"

Вы должны увидеть результат JSON после выполнения. Вы можете запросить первый раз, когда вы используете это, чтобы активировать API или разрешить доступ. Вы можете ответить «да» или «Y» к этой подсказке, и он должен вернуть JSON после этого.

Он вернет массив записей, похожих на такие, как этот первый для входа "Джон Маккарти".

 {
      «Имя»: «Джон Маккарти»,
      «Тип»: «Человек»,
      «Метаданные»: {
        "wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_cientist)",
        «Середина»: «/ M / 01SVFJ»
      },
      «Состание»: 0,40979216,
      «УМЕНТИИ»: [
        {
          «Текст»: {
            «Содержание»: «Джон Маккарти»,
            «Начало»: 0
          },
          «Тип»: «Правильно»
        }
      Несомненно
    }, 

Примечание: Вы можете использовать URL вместо текста контента в параметре контента оператора CURL.

Вы можете увидеть в листинге выборки образца, имя выявлено и то тип , который определил АИ ЧЕЛОВЕК Отказ Это также нашел матч Википедия для имя и вернул это. Это может быть полезно, поскольку вы можете использовать этот URL в качестве контента для второго запроса на API и получить еще больше объектов и информации об этом. Вы также можете увидеть Соселость Значение на 0,4, что указывает на значительную относительную важность субъекта в контексте текста, который мы предоставили. Вы также можете увидеть, что он правильно идентифицирован как ПРАВИЛЬНЫЙ , который относится к существительному типу (правильное существительное), а также сколько вхождений (упоминаний) объекта в тексте.

API вернет значения для всех ключевых объектов в тексте, который вы отправляете. Одно это может быть чрезвычайно полезно для обработки того, что пользователь может быть общаться с вашим приложением. Независимо от того, что содержало предложение, есть хороший шанс, что это о человеке, Джоне Маккарти, и мы могли бы посмотреть некоторую информацию для пользователя, основанного на этом в одиночку. Мы также могли бы реагировать так, как отражает наше понимание, это утверждение относится к человеку.

Вы можете продолжать использовать этот метод для проверки вызовов, которые мы будем использовать. Вы также можете настроить локальный SDK на языке, который вы предпочитаете, и целое число в ваше приложение.

07. Установите библиотеку клиента

Время сделать простое веб-приложение для демонстрации того, как интегрировать API в проекты.

Для приложений NLP обычно используют Python или Node. Чтобы показать универсальность использования API, мы будем использовать PHP SDK. Если вы хотите настроить код на другой язык, есть большой ресурс SDKS здесь Отказ

Начните с того, что у вас есть папка проекта, установленная на вашем локальном или удаленном сервере. Если у вас его уже нет, получите композитор и установите в папку проекта. У вас может быть композитор уже установлен по всему миру, и это тоже нормально.

Запустите следующую команду Composer, чтобы установить файлы поставщиков в свой проект:

 PHP -R "Копировать ('https://getcomposer.org/installer', 'composer-setup.php');"
PHP -r «, если (hash_file ( 'SHA384', 'композитор-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {эхо 'Установщик проверить';} еще {эхо 'Установщик коррумпированы'; Unlink (» Composer-setup.php ');} echo php_eol; "
PHP Composer-setup.php
PHP -R "Unlink ('composer-setup.php');"
PHP Composer.phar требуют Google / Cloud-language 

Композитор делает папку поставщика в папке проекта и устанавливает все зависимости для вас.

Если вы застряли настроить это и хотите использовать PHP, вы можете проверить этот ресурс на Установка композитора Отказ

08. Создайте новый файл

Если вы соблюдате в PHP, создайте новый файл PHP в папке проекта. Установите это, однако, что вам нравятся, но включите простую форму HTML для быстрого отправки текста.

Вот пример файла PHP с формой:

 & lt; dotype html & gt;
& lt; html & gt;
& lt; head & gt;
& lt; title & gt; net - учебник NLP & lt; / title & gt;
& lt; / head & gt;
& lt; body & gt;
& lt; Форма & gt;
& lt; P & GT; / & gt; & lt; / p & gt;
& lt; p & gt; & lt; входной тип = 'prem' name = 'prem' id = 'prettion' value = 'Analyze' & GT;
& lt; / form & gt;
& lt; Class = «Результаты» и GT;
& lt;? php
// PHP код идет здесь //
Если (пустое ($ _ Get ['Content'])) {die (); }
$ content = $ _get [«Содержание»];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Код включает в себя базовый HTML-файл с формой, а также заполнителем для вашего PHP-кода. Код запускается, просто проверяя наличие переменной контента (представлена ​​из формы). Если он еще не представлен, он просто выходит и ничего не делает.

09. Сделайте переменную среды

Похоже на шаг, который мы сделали ранее при использовании CURL CURL CURL, нам нужно установить Google_application_credentials. Переменная. Это важно, чтобы получить его аутентификацию.

В PHP мы используем Путенв Команда для установки переменной среды. Аутентификация, созданная SDK, истекает, поэтому вам нужно включить это в свой код для него, чтобы он схватил его и установить его каждый раз.

Добавьте этот код Далее в свой PHP-код:

 PUTENV ('Google_application_credentials = / пользователи / Richardmattka / Downloads / Tutorial NLP 1-1027228343dc.json'); 

Замените путь и имя файла, как вы имели до самого собственного.

10. Инициализируйте библиотеку

Далее добавьте библиотеку и инициализируйте LanguageClient класс в вашем коде. Добавьте этот код рядом с вашим разделе PHP-кода:

 требуется __dir__. '/vendor/autoload.php';
Используйте Google \ Cloud \ Language \ LanguageClient;
$ ProjectiD = 'NLP-Tutorial - 1-1543506531329';
$ language = new languageClient ([
    «Проект» = & GT; $ ProjectiD
]); 

Начните, требуя автозагрузки поставщика. Это похоже на Python или Node, если вам требуются ваши зависимости. Импорт LanguageClient Далее, чтобы использовать класс. Определите свой проект Отказ Если вы не уверены, что это такое, вы можете посмотреть его в вашей консоли GCP, где вы устанавливаете проект изначально. Наконец, создайте новый LanguageClient объект, использующий ваш проект и назначить его $ Язык Переменная.

11. Проанализировать сущности

Теперь вы готовы начать использовать API NLP в вашем коде. Вы можете отправить контент из формы на API и получить результат. На данный момент вы просто отобразите результат как JSON на экран. На практике вы можете оценить результаты и использовать их любым способом, которым вы хотите. Вы можете ответить на пользователя на основе результатов, посмотрите дополнительную информацию или выполнять задачи.

Чтобы повторить, анализ объекта вернет информацию о «каких» или «вещах», найденных в тексте.

 $ Результат = $ language- & gt; аналитические данные ($ Content);
foreach ($ result- & gt; Сущности () как $ E) {
echo "& lt; class = 'Результат' & gt;";
$ Результат = json_encode ($ e, json_pretty_print);
echo $ результат;
эхо "& lt; / div & gt;";
} 

Этот код подает контент из представленной формы на Анализ данных конечная точка и хранит результат в Результат $ Переменная. Тогда вы переиграете список объектов, возвращаемых из $ result- & gt; Сущности () Отказ Чтобы сделать его немного более читаемым, вы можете отформатировать его как JSON перед выводом на экран. Опять же, это просто пример, чтобы показать вам, как его использовать. Вы можете обработать его и реагировать на результаты, однако, что вам нужно.

12. Проанализируйте настроение

Вместо того, чтобы знать «какой» содержания, он также может быть ценным, чтобы знать настроение. Как ощущает пользователя? Как они чувствуют об организациях в своих коммуникациях?

Обновите код, чтобы использовать аналитизм конечная точка. Это оценит как объекты, как и раньше, но и вернуть оценку настроения для каждого.

 $ Результат = $ language- & gt; аналитизм ($ Content);

foreach ($ result- & gt; Сущности () как $ E) {
echo "& lt; class = 'Результат' & gt;";
$ Результат = json_encode ($ e, json_pretty_print);
echo $ результат;
эхо "& lt; / div & gt;";
} 

Тестирование с содержанием через форму «Звездные войны - лучший фильм всех времен»., Вы увидите результат, аналогичный этому:

 {«Имя»: «Звездные войны», «Тип»: «Work_of_art», «Метаданные»: {«MID»: «\ / M \ / 06mmr», «Wikipedia_URL»: «HTTPS: \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}," Solify ": ​​0.63493526,« УМЕНИЗАЦИЯ »: [{« Текст »: {« Содержание »:« Звездные войны »,« Начало »: 0},« Тип » : «Правильное», «настроение»: {«величина»: 0,6, «оценка»: 0,6}}], «настроение»: {«величина»: 0,6, «Оценка»: 0,6}}
{«Название»: «Фильм», «Тип»: «Work_of_art», «Метаданные»: [], «Сознание»: 0,36506474, «УМЕНИЗАЦИЯ»: [{«Текст»: {«Содержание»: «Фильм», « BeginOffset »: 22},« Тип »:« Common »,« Sentiment »: {« Величина »: 0,9,« Оценка »: 0,9}}],« Назначение »: {« Величина »: 0,9,« Оценка »: 0,9 }} 

Это показывает положительный показатель настроения значительного значения. Вы не только знаете, что ключевые слова, которые пользователь общается, но и как они почувствуют это. Ваше приложение может отвечать соответствующим образом на основе этих данных. У вас есть четкая идентификация «звездных войн» в качестве основного предмета с высокой значимостью. У вас есть ссылка на википедию, чтобы получить дополнительную информацию, если вы хотите запустить этот URL через тот же вызов API. Вы также знаете, что пользователь чувствует себя позитивным об этом. Вы даже можете увидеть утверждение весит положительное настроение на качество его как фильма. Очень круто.

Расставание мыслей

Попробуйте экспериментировать с другими конечными точками. В частности, проверьте анализировать и ClassifyText. конечные точки. Они дают вам еще больше части речевых данных и классификацию субъектов контента.

Эта статья была первоначально опубликована в выпуске 315 сеть Самый продаваемый журнал мира для веб-дизайнеров и разработчиков. Купить выпуск 315 здесь или же Подписаться здесь Отказ

Статьи по Теме:

• 7 Огромные технологии тенденции, которые дизайнеры должны знать прямо сейчас
• Как разработать опыт чата
• 5 Контрологические хитрости