Entenda o processamento de linguagem natural

Sites e aplicativos podem ter várias partes móveis, incluindo criativo front-end, processamento do lado do servidor, APIs e armazenamento de dados. AI pode conectar qualquer um desses componentes.

Na extremidade frontal, você pode conectar comandos de voz, interfaces de chatbot ou elementos criativos reativos da WebGL. Na extremidade traseira, os bancos de dados usam algoritmos inteligentes para maximizar a velocidade e a análise. A APIs podem fornecer uma camada de abstração a partir de uma ampla gama de funções da IA, de previsões ao treinamento coletivo.

Se você está apenas começando como desenvolvedor e precisa de alguns ponteiros, descubra Como fazer um aplicativo , ou podemos ajudá-lo a escolher qual Construtor de sites , hospedagem na web. serviço e armazenamento na núvem usar.

• Chatbots: O que você precisa saber.

Linguagem natural

O processamento de linguagem natural (PNL) concentra-se nas interações entre máquinas e idiomas humanos. É o objetivo do PNL processar e analisar vastas quantidades de dados linguísticos para melhorar a comunicação natural entre humanos e máquinas. Este campo de AI inclui reconhecimento de fala, compreensão da linguagem e geração de linguagem natural. Nosso foco estará em compreender a linguagem natural, o processo de analisar e determinar o significado ou a intenção de um texto.

Existem vários conceitos comuns ao PNL:

• Detectando a linguagem - Entendendo qual linguagem está sendo usada no texto é fundamental para saber quais regras de dicionários, sintaxe e gramática a serem usadas na análise.
• Extração de entidade - Identificar as palavras-chave em frases, quão relevantes ou salientes são para o texto geral e determinar quais são as entidades, com base em bases de treinamento ou conhecimento.
• Análise de sentimentos - Avaliar o nível geral de "sentimento" em um texto. É geralmente positivo ou negativo? Além disso, sentimento relacionado a cada entidade. A declaração reflete sentimentos positivos ou negativos sobre o "assunto"?
• Análise Sintática - Entendendo a estrutura do texto. Identifique atributos como frases, partes do discurso (e. Substantivo, verbo), voz, gênero, humor e tenso.
• Classificação ou categorização de conteúdo - Organizar o conteúdo do texto em categorias comuns para processá-los com mais eficiência. Por exemplo, Nova York, Londres, Paris, Munique são todos "locais" ou "cidades".

Existem inúmeras abordagens técnicas para analisar e processar os dados. Independentemente de qual ferramenta de NLP você usa, você terá que enfrentar as etapas comuns de análise e análise. Normalmente, o texto é separado em pedaços lógicos. Esses pedaços são analisados ​​contra dados treinados ou bases de conhecimento e valores designados, geralmente variando de 0,0 a 1,0 para refletir o nível de confiança na análise.

API de idioma natural do Google

Estaremos usando a nova API de idioma natural desenvolvida pelo Google para este tutorial. Existem inúmeras APIs disponíveis, mas o Google tem algumas vantagens agradáveis, incluindo computação em nuvem, velocidade, uma base de usuário incrivelmente grande e aprendizado de máquina. Os mecanismos de busca e as ferramentas do Google têm usado AI durante anos. Então você está aproveitando toda essa experiência e aprender usando seus serviços de forma pública.

APIs incorporam facilmente em qualquer projeto. Isso economiza muito tempo versus codificação de mão seu próprio PNL. Sua API repousada abstraída permite que você se integre com quase qualquer idioma que deseja através de chamadas de enrolamento comuns ou um dos inúmeros sdks disponíveis. Há alguns truques para se instalar, mas vamos trabalhar através dele um passo de cada vez.

Clique no ícone no canto superior direito da imagem para ampliá-lo.

01. Criar novo projeto do Google Cloud

Vou ao Console de plataforma do Google Cloud e criar um novo projeto ou selecionar um existente para trabalhar. O serviço é gratuito para usar até começar a fazer um grande volume de solicitações de API. Você pode precisar associar informações de faturamento à conta quando você ativar a API, mas isso não é carregado em baixo volume e você pode remover os serviços depois de terminar de testar se desejar.

02. Ativar a nuvem NL

Navegue até o Biblioteca de API. e selecione a API NL. Uma vez ativado, você deve ver uma pequena verificação verde e a mensagem 'API habilitada' ao lado dela.

03. Crie uma conta de serviço

Você precisará configurar um conta de serviço para este serviço. Como vamos configurar o uso como um serviço típico, esta é a melhor prática. Também funciona melhor com o fluxo de autenticação.

04. Baixar chave privada

Depois de ter um projeto com a API ativada e uma conta de serviço, você pode baixar sua chave privada como um arquivo JSON. Tome nota da localização do arquivo, para que você possa usá-lo nos próximos passos.

Se você tiver algum problema com os primeiros passos, há um guia aqui Isso ajuda, o que termina com o download da chave JSON.

05. Definir variável de ambiente

Em seguida, você precisa definir o Google_application_credentials. variável ambiental, por isso pode ser acessada por nossas chamadas de API. Isso aponta para o seu arquivo JSON que você acabou de baixar e economiza ter que digitar o caminho toda vez. Abra uma nova janela de terminal e use o comando Exportar como assim:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Substitua o [nome do arquivo] com seu arquivo de chave privada e use o caminho para o seu arquivo.

No Windows você pode fazer a mesma coisa através da linha de comando, assim:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Nota: Se você fechar sua janela de terminal ou console, talvez seja necessário executar isso novamente para definir a variável.

06. Faça uma chamada para a API

Agora você está pronto para cavar usando a API e veja NLP em ação. Você usará Curl para fazer testes rápidos da API. Você também pode usar este método do seu código.

As solicitações de curl podem ser feitas na maioria das linguagens, o que significa que você pode fazer as chamadas diretamente na linha de comando ou atribuir o resultado a uma variável no idioma de sua escolha. Olhe aqui Para algumas dicas rápidas sobre o uso de curl.

Vamos tentar um pedido de teste, com uma frase simples. Nós vamos correr através do analiseenidades ponto final.

Na interface de linha de terminal ou de comando, digite o seguinte comando:

 Curl -x post \
     -H "Autorização: portador" $ (Gloud Auth Application-Padrão-Access-Access-token) \
     -H "Tipo de conteúdo: Aplicativo / JSON; charset = utf-8" \
     --dados "{
  'documento':{
    'Tipo': 'plain_text',
    'Conteúdo': 'John McCarthy é um dos pais fundadores da inteligência artificial.'
  },
  'CodingType': 'UTF8'
} "" https://language.googleapis.com/v1/documents:Analyzeenidades"

Você deve ver um resultado JSON após a execução. Você pode ser solicitado pela primeira vez que você usa isso para ativar a API ou permitir acesso. Você pode responder 'Sim' ou 'Y' para esse prompt e deve retornar o JSON depois disso.

Devolverá uma matriz de entradas, semelhante a assim primeiro para a entrada "John McCarthy".

 {
      "Nome": "John McCarthy",
      "Tipo": "Pessoa",
      "Metadados": {
        "Wikipedia_Url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scientist)",
        "Meados": "/ m / 01svfj"
      },
      "Saliência": 0.40979216,
      "Menciona": [
        {
          "texto": {
            "Conteúdo": "John McCarthy",
            "BeginOffset": 0
          },
          "Tipo": "adequado"
        }
      ]
    }, 

Observação: Você pode usar um URL em vez de texto de conteúdo no parâmetro de conteúdo da instrução Curl.

Você pode ver na lista de entidades da amostra, o nome identificado e o modelo , que a AI determinada é uma PESSOA . Também encontrou uma partida da Wikipédia para o nome e devolvido isso. Isso pode ser útil, já que você poderia usar esse URL como conteúdo para uma segunda solicitação para a API e obter ainda mais entidades e informações sobre este. Você também pode ver o saliência valor em 0,4, que indica uma importância relativa significativa da entidade no contexto do texto que fornecemos. Você também pode ver que está corretamente identificado como APROPRIADO , que se refere ao tipo substantivo (um substantivo adequado), bem como quantas ocorrências (menções) da entidade no texto.

A API retornará valores para todas as principais entidades no texto que você envia. Só isso pode ser extremamente útil para processar o que um usuário pode estar se comunicando ao seu aplicativo. Independentemente do que a sentença continha, há uma boa chance é sobre a pessoa, John McCarthy, e poderíamos procurar algumas informações para o usuário com base nisso sozinho. Poderíamos também responder de uma forma que reflita nossa compreensão que esta afirmação se refere a uma pessoa.

Você pode continuar usando esse método para testar as chamadas que usaremos. Você também pode configurar o SDK local em um idioma preferido e inteiro em seu aplicativo.

07. Instale a biblioteca de clientes

Hora de fazer um aplicativo simples baseado na web para demonstrar como integrar a API em projetos.

Para aplicativos NLP é comum usar python ou nó. Para mostrar a versatilidade de usar as APIs, usaremos o PHP SDK. Se você deseja ajustar o código em um idioma diferente, há um ótimo recurso de sdks aqui .

Comece certificando-se de ter uma pasta de projeto configurada no seu servidor local ou remoto. Se você não tiver já, obtenha compositor e instale na pasta do seu projeto. Você pode ter compositor já instalado globalmente e isso é bom também.

Execute o seguinte comando compositor para instalar os arquivos do fornecedor para o seu projeto:

 php -r "cópia ('https:/getcompositor.org/installer', 'compositor-setup.php');
php -r "se (hash_file ( 'SHA384', 'compositor-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {echo 'Installer verificado';} else {echo 'Installer corrupto'; unlink (' compositor-setup.php ');} echo php_eol; "
php compositor-setup.php
php -r "revela ('compositor-setup.php');"
PHP compositor.Phare requer o Google / Cloud-Language 

O compositor faz uma pasta de fornecedora na pasta do projeto e instala todas as dependências para você.

Se você ficar preso, configurando isso e deseja usar o PHP, poderá verificar este recurso em Instalando Compositor. .

08. Crie um novo arquivo

Se você estiver seguindo no PHP, crie um novo arquivo PHP na pasta do projeto. Configure-o no entanto você gosta, mas inclua um formulário HTML simples para enviar rapidamente o texto.

Aqui está um exemplo de arquivo PHP com o formulário:

 & lt;! Doctype html & gt;
& lt; html & gt;
& lt; head & gt;
& lt; title & gt; net - tutorial NLP & lt; / title & gt;
& lt; / head & gt;
& lt; corpo e gt;
& lt; form & gt;
& lt; p & gt; & lt; tipo de entrada = 'texto' id = "conteúdo" nome = "conteúdo" sinalholder = "O que posso analisar?" / & gt; & lt; / p & gt;
e lt; p & gt; & lt; tipo de entrada = 'enviar' nome = 'enviar' id = 'enviar' valor = 'analisar' & gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div class = "resultados" & gt;
& lt;? php
// código php vai aqui //
Se (vazio ($ _ obter ['conteúdo'])) {morrer (); }
$ Conteúdo = $ _Get ['Conteúdo'];
? & gt;
& lt; / div & gt;
& lt; / corpo & gt;
& lt; / html & gt; 

O código inclui um arquivo HTML básico com um formulário, juntamente com um espaço reservado para o seu código PHP. O código começa simplesmente verificando a existência da variável de conteúdo (enviada do formulário). Se ainda não for enviado, apenas sai e não faz nada.

09. Faça a variável de ambiente

Semelhante à etapa que fizemos anteriormente ao usar a chamada de linha de comando, precisamos definir o Google_application_credentials. variável. Isso é essencial para conseguir autenticar.

No PHP usamos o Putenv. comando para definir uma variável de ambiente. A autenticação criada pelo SDK expira, portanto, você precisa incluir isso em seu código para agarrá-lo e configurá-lo a cada vez.

Adicione este código em seguida no seu código PHP:

 putenv ('google_application_credentials = / usuários / richardmattka / downloads / tutorial nlp 1-1027228343dc.json'); 

Substitua o caminho e o nome do arquivo como você fez antes com o seu próprio.

10. Inicialize a biblioteca

Em seguida, adicione a biblioteca e inicialize o LanguageClient. classe no seu código. Adicione este código ao lado da sua seção de código PHP:

 requer __dir__. '/vendor/autoload.php';
Use o Google \ Cloud \ Language \ LanguageLient;
$ projectID = 'nlp-tutorial-1-1543506531329';
$ idioma = novo languageclient ([
    'ProjectID' = & gt; $ ProjectID.
]); 

Comece exigindo o AutoLoad do fornecedor. Isso é semelhante no Python ou no nó, se você precisar de suas dependências. Importar o. LanguageClient. Em seguida, para fazer uso da aula. Defina o seu Projeto . Se você não tiver certeza do que é isso, você pode procurar no seu console GCP, onde você configura o projeto originalmente. Finalmente, crie um novo LanguageClient. objeto usando o seu Projeto e atribuí-lo ao $ Language. variável.

11. Analise as entidades

Agora você está pronto para começar a usar a API do NLP no seu código. Você pode enviar o conteúdo do formulário para a API e obter o resultado. Por enquanto você apenas exibirá o resultado como JSON à tela. Na prática, você poderia avaliar os resultados e usá-los de forma alguma. Você poderia responder ao usuário com base nos resultados, procurar mais informações ou executar tarefas.

Para recapitular, a análise de entidade retornará informações sobre o 'o que' ou as "coisas" encontradas no texto.

 $ Result = $ Language- & GT; Análises (conteúdo $);
foreach ($ result- & gt; entidades () como $ e) {
echo "& lt; div classe = 'resultado' & gt ;;;;
$ result = json_encode ($ E, json_pretty_print);
echo $ result;
echo "& lt; / div & gt;";
} 

Este código envia o conteúdo do formulário enviado para o analiseenidades ponto final e armazena o resultado no $ Result. variável. Então, você itera sobre a lista de entidades retornadas de $ result- & gt; entidades () . Para tornar um pouco mais legível, você pode formatá-lo como JSON antes de sair para a tela. Mais uma vez, este é apenas um exemplo para mostrar a você como usá-lo. Você poderia processá-lo e reagir aos resultados, no entanto, você precisa.

12. Analise o sentimento

Em vez de saber o "O que" do conteúdo, também pode ser valioso conhecer o sentimento. Como o usuário sente? Como eles se sentem sobre as entidades em suas comunicações?

Atualize o código para usar o analiseentitySentiment. ponto final. Isso avaliará as duas entidades como antes, mas também retornará uma pontuação de sentimento para cada um.

 $ Result = $ idioma- & gt; analzeentitySentiment ($ conteúdo);

foreach ($ result- & gt; entidades () como $ e) {
echo "& lt; div classe = 'resultado' & gt ;;;;
$ result = json_encode ($ E, json_pretty_print);
echo $ result;
echo "& lt; / div & gt;";
} 

Testando com o conteúdo através do formulário, "Star Wars é o melhor filme de todos os tempos". Você verá um resultado semelhante a isso:

 {"Nome": "Star Wars", "Tipo": "Work_OF_Art", "Metadados": {"Mid": "\ / m \ / 06mm", "Wikipedia_Url": "HTTPS: \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}," Saliência ": 0.63493526," MENÇÃO ": [{" Texto ": {" conteúdo ":" Star Wars "," BeginOffset ": 0}," Tipo " : "Correto", "sentimento": {"magnitude": 0,6 ", escore": 0.6}}], "sentimento": {"magnitude": 0,6 ", escore": 0.6}}
{"Nome": "Filme", ​​"Tipo": "Work_OF_Art", "metadados": [], "saliência": 0.36506474, "menciona": [{"texto": {"conteúdo": "" conteúdo ": beginoffset ": 22}," Tipo ":" Common "," sentimento ": {" magnitude ": 0,9", "pontuação": 0.9}}], "sentimento": {"magnitude": 0,9, "pontuação": 0,9 }} 

Isso mostra uma pontuação de sentimento positiva de valor significativo. Você não só sabe as palavras-chave que o usuário está se comunicando, mas também como eles se sentem sobre isso. Seu aplicativo pode responder adequadamente com base nesses dados. Você tem uma identificação clara de "Star Wars" como assunto principal com alta saliência. Você tem um link Wikipedia para pegar mais informações se quiser executar esse URL de volta pela mesma chamada API. Você também sabe que o usuário está se sentindo positivo sobre isso. Você pode até ver a declaração pesa o sentimento positivo na qualidade dela como um filme. Muito legal.

Pensamentos de parting.

Tente experimentar outros endpoints. Especificamente, confira o analisyntax. e ClassifyText. endpoints. Estes dão a você ainda mais partes de dados de fala e classificação das entidades de conteúdo.

Este artigo foi originalmente publicado em questão 315 de internet , a revista mais vendida do mundo para web designers e desenvolvedores. Comprar edição 315 aqui ou Inscreva-se aqui .

Artigos relacionados:

• 7 enormes tendências de tecnologia que os designers precisam saber agora
• Como projetar uma experiência de chatbot
• 5 truques de conversão contra intuitivos