Hiểu xử lý ngôn ngữ tự nhiên

Các trang web và ứng dụng có thể có nhiều bộ phận chuyển động khác nhau bao gồm quảng cáo phía trước, xử lý phía máy chủ, API và lưu trữ dữ liệu. AI có thể cắm bất kỳ thành phần nào trong số này.

Ở mặt trước, bạn có thể kết nối các lệnh thoại, giao diện chatbot hoặc các yếu tố sáng tạo WebGL phản ứng. Ở phía sau, cơ sở dữ liệu sử dụng các thuật toán thông minh để tối đa hóa tốc độ và phân tích. API có thể cung cấp một lớp trừu tượng từ một loạt các chức năng AI, từ dự đoán đến đào tạo tập thể.

Nếu bạn mới bắt đầu như một nhà phát triển và cần một số gợi ý, hãy tìm hiểu Cách tạo một ứng dụng hoặc chúng tôi có thể giúp bạn chọn cái nào người tạo ra trang web Cái gì web hosting dịch vụ và lưu trữ đám mây để sử dụng.

• Chatbots: Những gì bạn cần biết.

Ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (NLP) tập trung vào các tương tác giữa các máy móc và ngôn ngữ của con người. Đây là mục tiêu của NLP để xử lý và phân tích số lượng lớn dữ liệu ngôn ngữ để cải thiện giao tiếp tự nhiên giữa con người và máy móc. Trường AI này bao gồm nhận dạng giọng nói, hiểu ngôn ngữ và tạo ngôn ngữ tự nhiên. Trọng tâm của chúng tôi sẽ được hiểu về ngôn ngữ tự nhiên, quá trình phân tích và xác định ý nghĩa hoặc ý định của một văn bản.

Có một số khái niệm chung cho NLP:

• Phát hiện ngôn ngữ - Hiểu ngôn ngữ nào đang được sử dụng trong văn bản là nền tảng để biết các từ điển, cú pháp và quy tắc ngữ pháp để sử dụng trong phân tích.
• Trích xuất thực thể - Xác định các từ khóa trong các cụm từ, mức độ có liên quan hoặc mặn mà chúng đối với văn bản tổng thể và xác định các thực thể là gì, dựa trên các cơ sở đào tạo hoặc kiến ​​thức.
• Phân tích tình cảm - Đánh giá mức độ chung của 'cảm giác' trong một văn bản. Nó thường tích cực hay tiêu cực? Ngoài ra, tình cảm liên quan đến từng thực thể. Liệu tuyên bố phản ánh cảm xúc tích cực hoặc những người tiêu cực về 'môn học'?
• Phân tích cú pháp - Hiểu cấu trúc của văn bản. Xác định các thuộc tính như câu, một phần của lời nói (e.g. danh từ, động từ), giọng nói, giới tính, tâm trạng và căng thẳng.
• Phân loại nội dung hoặc phân loại - Tổ chức nội dung của văn bản thành các danh mục chung để xử lý hiệu quả hơn chúng. Ví dụ, New York, London, Paris, Munich đều là 'địa điểm' hoặc 'thành phố'.

Có rất nhiều cách tiếp cận kỹ thuật để phân tích cú pháp và xử lý dữ liệu. Bất kể bạn sử dụng công cụ NLP nào, bạn sẽ phải giải quyết các bước phân tích và phân tích phổ biến. Thông thường văn bản được tách thành khối logic. Những khối này được phân tích chống lại dữ liệu được đào tạo hoặc cơ sở kiến ​​thức và các giá trị được gán, thường dao động từ 0,0 đến 1.0 để phản ánh mức độ tin cậy trong phân tích.

API ngôn ngữ tự nhiên của Google

Chúng tôi sẽ sử dụng API ngôn ngữ tự nhiên mới được phát triển bởi Google cho hướng dẫn này. Có rất nhiều API có sẵn nhưng Google có một số lợi thế hay, bao gồm cả điện toán đám mây, tốc độ, một cơ sở người dùng và học máy cực lớn. Các công cụ và công cụ tìm kiếm của Google đã được sử dụng AI trong nhiều năm. Vì vậy, bạn sẽ khai thác tất cả kinh nghiệm và học tập bằng cách sử dụng các dịch vụ đối mặt công khai.

API kết hợp dễ dàng vào bất kỳ dự án nào. Điều này tiết kiệm rất nhiều thời gian so với mã hóa NLP của riêng bạn. API RESTFUL trừu tượng của nó cho phép bạn tích hợp với hầu hết mọi ngôn ngữ bạn muốn thông qua các cuộc gọi Curl chung hoặc một trong số lượng SDK có sẵn. Có một vài thủ thuật để được thiết lập nhưng chúng tôi sẽ làm việc thông qua nó một bước tại một thời điểm.

Nhấp vào biểu tượng ở trên cùng bên phải của hình ảnh để phóng to nó.

01. Tạo dự án Cloud mới

Đi đến Bảng điều khiển nền tảng đám mây của Google và tạo một dự án mới hoặc chọn một dự án hiện có để làm việc với. Dịch vụ này là miễn phí để sử dụng cho đến khi bạn bắt đầu tạo một khối lượng lớn các yêu cầu API. Bạn có thể cần liên kết thông tin thanh toán với tài khoản khi bạn kích hoạt API nhưng điều này không được tính phí ở mức thấp và bạn có thể xóa các dịch vụ sau khi bạn thực hiện thử nghiệm nếu bạn muốn.

02. Kích hoạt Đám mây NL

Duyệt đến Thư viện API và chọn API NL. Sau khi bật, bạn sẽ thấy một chút kiểm tra màu xanh lá cây và thông báo 'API được bật' bên cạnh nó.

03. Tạo tài khoản dịch vụ

Bạn sẽ cần thiết lập một Tài khoản dịch vụ Đối với dịch vụ này. Vì chúng tôi sẽ thiết lập cách sử dụng như một dịch vụ điển hình, đây là thực hành tốt nhất. Nó cũng hoạt động tốt nhất với dòng xác thực.

04. Tải chìa khóa riêng

Khi bạn có một dự án với API được bật và tài khoản dịch vụ, bạn có thể tải xuống khóa riêng của mình dưới dạng tệp JSON. Lưu ý về vị trí của tệp, vì vậy bạn có thể sử dụng nó trong các bước tiếp theo.

Nếu bạn có bất kỳ vấn đề nào với vài bước đầu tiên có một hướng dẫn đây Điều đó giúp, kết thúc bằng việc tải xuống khóa JSON.

05. Đặt biến môi trường

Tiếp theo, bạn cần đặt Google_Application_credentials. Biến môi trường, vì vậy nó có thể được truy cập bởi các cuộc gọi API của chúng tôi. Điều này trỏ đến tệp JSON của bạn, bạn vừa tải xuống và lưu bạn phải gõ đường dẫn mỗi lần. Mở một cửa sổ đầu cuối mới và sử dụng lệnh xuất như vậy:

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/Downloads/[file name].json"

Thay thế cái [Tên tập tin] Với tệp khóa riêng của bạn và sử dụng đường dẫn đến tệp của bạn.

Trên Windows, bạn có thể làm điều tương tự thông qua dòng lệnh, như thế này:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

Lưu ý: Nếu bạn đóng cửa sổ thiết bị đầu cuối hoặc bảng điều khiển, bạn có thể cần phải chạy lại điều đó để đặt biến.

06. Thực hiện cuộc gọi đến API

Bây giờ bạn đã sẵn sàng để sử dụng API và thấy NLP đang hoạt động. Bạn sẽ sử dụng Curl để thực hiện các thử nghiệm nhanh chóng của API. Bạn cũng có thể sử dụng phương pháp này từ mã của bạn.

Các yêu cầu Curl có thể được thực hiện bằng hầu hết các ngôn ngữ, có nghĩa là bạn có thể thực hiện các cuộc gọi trực tiếp trong dòng lệnh hoặc gán kết quả vào một biến trong ngôn ngữ mà bạn chọn. Nhìn đây Đối với một số mẹo nhanh chóng về việc sử dụng Curl.

Hãy thử một yêu cầu kiểm tra, với một câu đơn giản. Chúng ta sẽ chạy nó thông qua phân tích điểm cuối.

Trong thiết bị đầu cuối hoặc giao diện dòng lệnh của bạn, nhập lệnh sau:

 Curl -x bài \
     -H "Ủy quyền: Bearer" $ (Trình truy cập in mặc định của ứng dụng Gcloud auth) \
     -H "Loại nội dung: Ứng dụng / JSON; Charset = UTF-8" \
     --dữ liệu "{
  'Tài liệu': {
    'gõ': 'plain_text',
    'Nội dung': 'John McCarthy là một trong những người sáng lập Trí tuệ nhân tạo.'
  },
  'EncodingType': 'utf8'
} "" https://l Language.Googleapis.com/v1/document:analyzeentities"

Bạn sẽ thấy một kết quả JSON sau khi thực hiện. Bạn có thể được nhắc nhở lần đầu tiên bạn sử dụng điều này để kích hoạt API hoặc cho phép truy cập. Bạn có thể trả lời 'có' hoặc 'y' vào dấu nhắc đó và nó sẽ trả lại JSON sau đó.

Nó sẽ trả về một loạt các mục, tương tự như những mục như cái đầu tiên này cho mục nhập "John McCarthy".

 {
      "Tên": "John McCarthy",
      "Loại": "Người",
      "metadata": {
        "wikipedia_url": "https://en.wikipedia.org/wiki/john_mccarthy_(computer_scientist)",
        "Mid": "/ m / 01svfj"
      },
      "Salience": 0.40979216,
      "đề cập": [
        Đồn là
          "bản văn": {
            "Nội dung": "John McCarthy",
            "Bắt đầu": 0
          },
          "Loại": "thích hợp"
        Không thể
      Của
    }, 

Ghi chú: Bạn có thể sử dụng một URL thay vì văn bản nội dung trong tham số nội dung của câu lệnh Curl.

Bạn có thể thấy trong danh sách thực thể mẫu, Tên xác định và kiểu , mà AI xác định là một NGƯỜI . Nó cũng tìm thấy một trận đấu Wikipedia cho Tên và trả lại nó. Điều này có thể hữu ích, vì bạn có thể sử dụng URL đó làm nội dung cho yêu cầu thứ hai với API và nhận thêm các thực thể và thông tin về mặt này. Bạn cũng có thể thấy Salience. giá trị ở mức 0,4, cho thấy tầm quan trọng tương đối đáng kể của thực thể trong bối cảnh của văn bản chúng tôi cung cấp. Bạn cũng có thể thấy nó được xác định chính xác như Thích hợp , đề cập đến loại danh từ (một danh từ thích hợp), cũng như bao nhiêu lần xuất hiện (đề cập) của thực thể trong văn bản.

API sẽ trả về các giá trị cho tất cả các thực thể chính trong văn bản bạn gửi. Điều này một mình có thể cực kỳ hữu ích để xử lý những gì người dùng có thể giao tiếp với ứng dụng của bạn. Bất kể những gì bản án chứa đựng những gì, có một cơ hội tốt, đó là về người đó, John McCarthy và chúng tôi có thể tìm kiếm một số thông tin cho người dùng dựa trên điều này một mình. Chúng tôi cũng có thể trả lời theo cách phản ánh sự hiểu biết của chúng tôi tuyên bố này đề cập đến một người.

Bạn có thể tiếp tục sử dụng phương pháp này để kiểm tra các cuộc gọi sẽ sử dụng. Bạn cũng có thể thiết lập SDK cục bộ bằng ngôn ngữ bạn thích và toàn bộ vào ứng dụng của mình.

07. Cài đặt Thư viện khách

Thời gian để tạo một ứng dụng dựa trên web đơn giản để chứng minh cách tích hợp API vào các dự án.

Đối với các ứng dụng NLP, nó là phổ biến để sử dụng Python hoặc nút. Để hiển thị tính linh hoạt của việc sử dụng API, chúng tôi sẽ sử dụng SDK PHP. Nếu bạn muốn điều chỉnh mã thành một ngôn ngữ khác, có một nguồn tài nguyên tuyệt vời của SDK đây .

Bắt đầu bằng cách đảm bảo bạn có một thư mục dự án được thiết lập trên máy chủ cục bộ hoặc từ xa. Nếu bạn không có nó, hãy lấy Trình soạn thảo và cài đặt vào thư mục dự án của bạn. Bạn có thể có nhà soạn nhạc đã được cài đặt trên toàn cầu và điều đó cũng tốt.

Chạy lệnh Trình soạn thảo sau để cài đặt các tệp nhà cung cấp vào dự án của bạn:

 Php -r "Sao chép ('https://getcomposer.org/installer', 'Composer-setup.php');"
php -r "if (hash_file ( 'sha384', 'nhà soạn nhạc-setup.php') === '93b54496392c06277467 0ac18b134c3b3a95e5a5e5 c8f1a9f115f203b75bf9a129d5 daa8ba6a13e2cc8a1da080 6388a8') {echo 'Installer xác';} else {echo 'Installer tham nhũng'; unlink (' CompoSer-Setup.php ');} echo php_eol; "
Trình soạn thảo PHP-Setup.php
PHP -R "Unlink ('Composer-Setup.php');"
PHP Composer.phar yêu cầu Google / ngôn ngữ đám mây 

Trình soạn thảo tạo một thư mục nhà cung cấp trong thư mục dự án của bạn và cài đặt tất cả các phụ thuộc cho bạn.

Nếu bạn bị mắc kẹt thiết lập điều này và muốn sử dụng PHP, bạn có thể kiểm tra tài nguyên này trên cài đặt nhà soạn nhạc .

08. Tạo một tập tin mới

Nếu bạn đang theo dõi trong PHP, hãy tạo tệp PHP mới trong thư mục dự án của bạn. Tuy nhiên, thiết lập nó, nhưng bao gồm một biểu mẫu HTML đơn giản để nhanh chóng gửi văn bản thông qua.

Dưới đây là một tệp PHP ví dụ với biểu mẫu:

 & lt;! DocType HTML & GT;
& lt; html & gt;
& lt; Head & GT;
& lt; Tiêu đề & GT; NET - Hướng dẫn NLP & LT; / Tiêu đề & GT;
& lt; / head & gt;
& lt; body & gt;
& lt; hình thức & gt;
& lt; p & gt; & lt; loại đầu vào = 'văn bản' id = "nội dung" tên = "nội dung" giữ chỗ = "Tôi có thể phân tích những gì?" / & gt; & lt; / p & gt;
& lt; p & gt; & lt; loại đầu vào = 'gửi' tên = 'gửi' id = 'gửi' giá trị = 'phân tích' & gt; & lt; / p & gt;
& lt; / form & gt;
& lt; div class = "Kết quả" & gt;
& lt;? PHP
// Mã PHP sẽ đến đây //
Nếu (trống ($ _ nhận được ['nội dung'])) {Die (); Không thể
$ Nội dung = $ _Get ['nội dung'];
? & gt;
& lt; / div & gt;
& lt; / body & gt;
& lt; / html & gt; 

Mã này bao gồm một tệp HTML cơ bản có biểu mẫu, cùng với trình giữ chỗ cho mã PHP của bạn. Mã bắt đầu bằng cách kiểm tra sự tồn tại của biến nội dung (được gửi từ biểu mẫu). Nếu nó chưa được gửi, nó chỉ thoát ra và không có gì.

09. Làm cho biến môi trường

Tương tự như bước chúng tôi đã làm trước đây khi sử dụng lệnh curl dòng lệnh, chúng tôi cần đặt Google_Application_credentials. Biến đổi. Điều này là điều cần thiết để làm cho nó xác thực.

Trong PHP, chúng tôi sử dụng putenv. lệnh để đặt biến môi trường. Xác thực được tạo bởi SDK hết hạn, do đó bạn cần bao gồm điều này trong mã của mình để lấy nó và đặt nó mỗi lần.

Thêm mã này Tiếp theo mã PHP của bạn:

 putenv ('google_application_credentials = / người dùng / richardmattka / downloads / nlp hướng dẫn 1-1027228343dc.json'); 

Thay thế tên và tên tệp như bạn đã làm trước đó.

10. Khởi tạo thư viện

Tiếp theo, thêm thư viện và khởi tạo Languageclient. lớp trong mã của bạn. Thêm mã này bên cạnh phần Mã PHP của bạn:

 yêu cầu __dir__. '/vendor/autoload.php';
Sử dụng Google \ Cloud \ Ngôn ngữ \ LangaGeclient;
$ ProjectID = 'NLP-TUTORIAL-1-1543506531329';
$ Ngôn ngữ = Languageclient mới ([
    'ProjectID' = & GT; $ ProjectId.
]); 

Bắt đầu bằng cách yêu cầu người bán hàng tự động. Điều này tương tự như trong Python hoặc Node nếu bạn yêu cầu phụ thuộc của mình. Nhập khẩu Languageclient. Tiếp theo, để sử dụng lớp. Xác định của bạn Dự án . Nếu bạn không chắc chắn đây là gì, bạn có thể tìm kiếm nó trong bảng điều khiển GCP của mình, nơi bạn thiết lập dự án ban đầu. Cuối cùng, tạo một cái mới Languageclient. đối tượng sử dụng của bạn Dự án và gán nó cho $ ngôn ngữ Biến đổi.

11. Phân tích các thực thể

Bây giờ bạn đã sẵn sàng để bắt đầu sử dụng API NLP trong mã của bạn. Bạn có thể gửi nội dung từ biểu mẫu đến API và nhận kết quả. Hiện tại bạn sẽ chỉ hiển thị kết quả dưới dạng JSON đến màn hình. Trong thực tế, bạn có thể đánh giá kết quả và sử dụng chúng theo bất kỳ cách nào bạn muốn. Bạn có thể trả lời người dùng dựa trên kết quả, tìm kiếm thêm thông tin hoặc thực thi các tác vụ.

Để tóm tắt, phân tích thực thể sẽ trả về thông tin về 'những gì' hoặc 'những thứ' được tìm thấy trong văn bản.

 $ Kết quả = $ Ngôn ngữ- & GT; Phân tích ($ Nội dung);
foreach ($ Kết quả- & gt; thực thể () là $ e) {
echo "& lt; div class = 'kết quả' & gt;";
$ kết quả = json_encode ($ e, json_pretty_print);
echo $ kết quả;
echo "& lt; / div & gt;";
} 

Mã này gửi nội dung từ mẫu đã gửi đến phân tích điểm cuối và lưu trữ kết quả trong $ Kết quả Biến đổi. Sau đó, bạn lặp lại danh sách các thực thể trở về từ $ Kết quả- & gt; thực thể () . Để làm cho nó dễ đọc hơn một chút, bạn có thể định dạng nó dưới dạng JSON trước khi xuất ra màn hình. Một lần nữa, đây chỉ là một ví dụ để chỉ cho bạn cách sử dụng nó. Bạn có thể xử lý nó và phản ứng với kết quả tuy nhiên bạn cần.

12. Phân tích tình cảm

Thay vì biết 'những gì' của nội dung, nó cũng có thể có giá trị để biết tình cảm. Người dùng cảm thấy thế nào? Làm thế nào để họ cảm thấy về các thực thể trong truyền thông của họ?

Cập nhật mã để sử dụng phân tích điểm cuối. Điều này sẽ đánh giá cả hai thực thể như trước nhưng cũng trả lại điểm tình cảm cho mỗi thực thể.

 $ Kết quả = $ Ngôn ngữ- & GT; Phân tíchzeentitysententiment ($ Nội dung);

foreach ($ Kết quả- & gt; thực thể () là $ e) {
echo "& lt; div class = 'kết quả' & gt;";
$ kết quả = json_encode ($ e, json_pretty_print);
echo $ kết quả;
echo "& lt; / div & gt;";
} 

Kiểm tra với nội dung thông qua biểu mẫu, "Star Wars là bộ phim hay nhất mọi thời đại.", Bạn sẽ thấy một kết quả tương tự như thế này:

 {"tên": "Star Wars", "gõ": "work_of_art", "siêu dữ liệu": {"MID": "\ / m \ / 06mmr", "wikipedia_url": "https: \ / \ / en.wikipedia.org \ / wiki \ / star_wars "}", "Bọ mặn": 0,63493526, "đề cập": [{"văn bản": {"nội dung": "Star Wars", "Bắt đầu": 0}, "Loại" : "Đúng", "Sentiment": {"cường độ": 0,6, "điểm": 0,6}}], "Sentiment": {"Độ lớn": 0,6, "Điểm": 0,6}}
{"Tên": "phim", "gõ": "work_of_art", "siêu dữ liệu": [], "Salience": 0.36506474, "đề cập": [{"văn bản": {"Nội dung": "Phim", " Bắt đầu ": 22}", "loại": "chung", "tình cảm": {"cường độ": 0,9, "điểm": 0.9}}], "Sentiment": {"Độ lớn": 0,9, "Điểm": 0,9 }} 

Điều này cho thấy một điểm tình cảm tích cực của giá trị quan trọng. Bây giờ bạn không chỉ biết những từ khóa mà người dùng đang giao tiếp mà còn cảm nhận về nó. Ứng dụng của bạn có thể đáp ứng một cách thích hợp dựa trên dữ liệu này. Bạn đã có một nhận dạng rõ ràng về "Star Wars" là môn học chính có độ mặn cao. Bạn đã có một liên kết Wikipedia để lấy thêm thông tin nếu bạn muốn chạy URL đó trở lại cuộc gọi API tương tự. Bạn cũng biết người dùng đang cảm thấy tích cực về nó. Bạn thậm chí có thể thấy tuyên bố trọng lượng tâm lý tích cực về chất lượng của nó như một bộ phim. Rất tuyệt.

Chia tay suy nghĩ

Thử thử nghiệm với các điểm cuối khác. Cụ thể, hãy xem phân tích. và classifytext. điểm cuối. Chúng cung cấp cho bạn nhiều phần hơn của dữ liệu lời nói và phân loại các thực thể nội dung.

Bài viết này ban đầu được xuất bản trong số phát hành 315 của mạng lưới , Tạp chí bán chạy nhất thế giới cho các nhà thiết kế và nhà phát triển web. MUA VẤN ĐỀ 315 TẠI ĐÂY hoặc là Đăng ký tại đây .

Những bài viết liên quan:

• 7 xu hướng công nghệ lớn mà các nhà thiết kế cần biết ngay bây giờ
• Cách thiết kế trải nghiệm chatbot
• 5 thủ thuật chuyển đổi phản con