利用（yòng）NPL可（kě）与人工智能工（gōng）具进行交流

现如今，在（zài）更多情况下（xià），我们是以（yǐ）比（bǐ）特（tè）和（hé）字节为（wéi）生，而不是依靠交换情感。我们使用一种称之为计算机的超级智能（néng）机器（qì）在互（hù）联网（wǎng）上进行交易和沟通。因此（cǐ），我们觉得有必要让机（jī）器明白（bái）我们（men）在说话时是如何对其（qí）进行理解的，并（bìng）且试图（tú）用人（rén）工（gōng）智能，一（yī）种称（chēng）之为NLP——自然语言处理技术为（wéi）它们（men）提供语言（yán）。作为（wéi）一种研究结果，聊天（tiān）机（jī）器人正在成为（wéi）一种可靠的聊天工具（jù），使用这种非人为依赖的智（zhì）能工具与人类（lèi）进（jìn）行（háng）交（jiāo）流。

我强烈的感受（shòu）到：

直到我们的机器学会了解行为和（hé）情绪，数（shù）据（jù）科学家和工（gōng）程师的工作（zuò）才完成了一半。与深度学习（ML学（xué）科领域（yù））融合的NLP将对这种计算机语言（yán）的使用起到关键作用。

利用自然语（yǔ）言处理NPL可以（yǐ）使人工智能工具与人类进行交流

什么是NLP

这是一种人工智能方法，给定（dìng）机（jī）器一些人类语言从而使得它们（men）能（néng）够（gòu）与人类进行沟（gōu）通交流。它涉及使用（yòng）NLP技术对书面语言进行智能分析，以（yǐ）获（huò）取对一（yī）组（zǔ）文本数据的（de）见解，如：

1.情绪分析

2.信息提取（qǔ）和检索

3.智能（néng）搜索等

它是人工智能和计（jì）算语（yǔ）言学的交汇点，能够处理机器和人（rén）类（lèi）自然语言之间的交互，即计算机（jī）需要对其进行分析（xī）、理解、改变或（huò）生成自然语言。NLP帮助（zhù）计算机机（jī）器以各种形式使（shǐ）用自然人类语言（yán）进行交流，包括但（dàn）不限于语音、印（yìn）刷、写作和签名（míng）。

NLP机器学习和深度学习：它（tā）们是如何（hé）连接的

利用自（zì）然语（yǔ）言处理NPL可以使人工智能工具（jù）与人类进（jìn）行交流

NLP与机（jī）器学（xué）习和深度学习密（mì）切相关，所有这些都是人工智能领域的分支，如下图所示：它是一个致（zhì）力于使机器智能化的计算机（jī）科学领域。深度学习是一种流行（háng）的机器（qì）学习（xí）技（jì）术之一，如回归，K-means等（děng）。

机器学习的类型很多，像（xiàng）无（wú）监督机器学习这样（yàng）的经（jīng）常用于NLP技术中（zhōng），如LDA（潜在狄（dí）利克雷分布，一种主题模型算法（fǎ））。

为了（le）能够执（zhí）行任何（hé）一个NLP，我们需要深（shēn）入（rù）理解人类使（shǐ）如（rú）何处理语言的情感和（hé）分析方面。还（hái）有各种（zhǒng）各样像社交媒体这（zhè）样（yàng）的语言数据源，人们（men）直接或（huò）间接（jiē）地（dì）分享他们（men）感受到的（de）内容，而这必须通（tōng）过使用NLP的机器进行智能（néng）分析。NLP机器需要建立一（yī）个（gè）人类（lèi）推理（lǐ）系统（tǒng），借助ML技术，它（tā）们可以自动执行NLP过程（chéng）并对（duì）其进行扩展。

简（jiǎn）而言之，“深（shēn）度（dù）学习与自然语言处（chù）理”是相互联系、相互（hù）依存的，以构建一（yī）个能够像人类（lèi）一样思（sī）考、说话和行动的智能（néng）计算机。

Meltwater Group的NLP专家John Rehling在《自（zì）然语言处理是（shì）如何帮助揭示（shì）社交媒体情绪》一文（wén）中说，

“通过分析语言的含义（yì），NLP系统扮演着（zhe）非常重要的（de）角色，如纠正语法（fǎ），将语音转换为文本，以及在多语言（yán）之间自（zì）动翻（fān）译。”

NLP如何工作

理解NLP的工作原理是非常重要的，因为这（zhè）样的话，我们就可以将NLP作（zuò）为一个整体来理解（jiě）。NLP一般有（yǒu）两个主要组成部分（fèn）：

1.NLU：自（zì）然语（yǔ）言理解

2.NLG：自（zì）然语言生成

让我们深入（rù）理解NLU

自然语（yǔ）言理（lǐ）解：它涉及的是一种方（fāng）法论，试（shì）图了解如（rú）何对馈送给（gěi）计算机的自然语言赋予一定的相（xiàng）关意（yì）义。

在开始时，计算机获（huò）得自然语言的输入（自然语言可以是任何语言，它们（men）通过（guò）使用（yòng）和（hé）重复在（zài）人类中自然进化，而不（bú）是（shì）有意识（shí）的计划或预谋（móu），自然语言可以采用不同的形式，例如语音或签名）。

计算机之后将它（tā）们转换成（chéng）人工语（yǔ）言，如语（yǔ）音识别（bié）和（hé）/或语音转换文本。在（zài）这里我们把数据转换成一个文本（běn）形式， NLU过程来理解其中的含义。

HMM：隐马尔可夫（fū）模型（NLU示例）

利用自然语言处理NPL可（kě）以（yǐ）使人工智能工具（jù）与人类进行（háng）交流

它是（shì）一种统计语音识别模型，它可以在预先构建的数学（xué）技（jì）术的帮助下，将（jiāng）你的（de）语音转换成文本，并试图推断（duàn）出你所说的语（yǔ）言。

它（tā）试图理解你所说的，通过（guò）将（jiāng）语音数据分解成一小（xiǎo）段特定的时间段，大多数情况下时（shí）间是20-20 ms。这些数据集（jí）将（jiāng）进一（yī）步与（yǔ）预馈语（yǔ）音进行比较，从（cóng）而进一步解（jiě）读你（nǐ）在每（měi）个语音单位（wèi）中所（suǒ）说的内容。这（zhè）里的目的是找到音（yīn）素（一（yī）个（gè）最小的语音单（dān）位）。然（rán）后（hòu），机器对（duì）一系列这样的（de）音素进行观（guān）察（chá），并统计了（le）最（zuì）可能说出的单词和句子。

不仅如（rú）此，NLU会深刻理解每个单词，试图（tú）理解它是一个名词（cí）还是动词，什么（me）是时态（过去或未来（lái））等。这（zhè）个（gè）过程（chéng）被定（dìng）义（yì）为（wéi）POS：词性标注部分（Part Of Speech Tagging）。NLP具有内置的词（cí）典和一套与语（yǔ）法（fǎ）预编码相关的协（xié）议，这些协议被（bèi）预（yù）编码到它们的（de）系统中，并在处（chù）理（lǐ）自然语言数据集时使用它，从而在NLP系（xì）统处理人类（lèi）语音时（shí），编译所说的内容。

NLP系统（tǒng）也有（yǒu）一（yī）个词典（diǎn）（词汇表）和一套编码到（dào）系统中的（de）语法规则。现代NLP算法使用统计机（jī）器，学习将这些（xiē）规则应（yīng）用于自（zì）然语言，并推断（duàn）所说话（huà）语背后（hòu）最可能的含义。在（zài）考虑诸如具有多个（gè）含义的（de）词语（yǔ）（多义（yì）词（cí））或具（jù）有相似含义的词语（同义词）时，存在一（yī）些（xiē）挑战（zhàn），但软件（jiàn）开发者在他们的NLU系统中（zhōng）建立了自己的规则，可以通过适当的训练和（hé）学习来（lái）处理（lǐ）这类（lèi）问题。

自然语言生成：

与第一（yī）阶（jiē）段（NLU做（zuò）了大量的努力（lì）以（yǐ）理解（jiě）人（rén）类的话语）相（xiàng）比（bǐ），NLG可以（yǐ）很容易的进行翻（fān）译工作，即将计算机的人（rén）工语言翻（fān）译为有意义的文本，并可以（yǐ）通过文字转（zhuǎn）语（yǔ）音（tex-to-speech）技术将其转化为（wéi）可听语音（yīn）。文本转语音（（tex-to-speech））技术通过（guò）韵律模型（prosody model）来分（fèn）析文（wén）本，从而确定语言（yán）的（de）断句、长短和音（yīn）调。然后，利用语音（yīn）数据库，将记录的所有（yǒu）音素汇（huì）集（jí）在一起，形成一个连贯的语音串。

简而言之，NLP采用NLU和（hé）NLG来处理人类自然（rán）语言，尤其是处理语音识别领（lǐng）域的人类自然语（yǔ）言，并试（shì）图将传（chuán）递字符（fú）串或可（kě）听（tīng）语言（yán）作为输出，来理（lǐ）解（jiě）、编译并（bìng）推断所说的（de）内容（róng）。

NLP在现代语境中（zhōng）的应用：

在这个处于数字（zì）革命的电脑时（shí）代中，大部分任（rèn）务需要（yào）由人类利用链接物（wù）联网的机器来完成。NLP在为媒（méi）体、出（chū）版、广告、医（yī）疗、银行和保险等行业领域建（jiàn）立强大（dà）的（de）软件（jiàn）工具方面（miàn），发挥（huī）了重要作用，从而帮助他们高效快捷地运作。

NLP的一些（xiē）现（xiàn）代用法：

1.聊天机器人

这是（shì）一个被（bèi）称为机器人（rén）的成熟软件（jiàn），它可以处理任何场景（jǐng）的（de）人物对话（huà）。api.ai、微软语音理解智能服（fú）务（LUIS）等一（yī）些热门（mén）的（de）NLP和机器学习平（píng）台，可用于研（yán）发你的商业聊天机器（qì）人。

2.垃圾邮（yóu）件过滤（lǜ）

你（nǐ）们中的大多数人（rén）一定（dìng）对垃圾（jī）邮（yóu）件并不陌生（shēng）。Google使用基于（yú）NLP的技术来保（bǎo）障你的（de）收（shōu）件（jiàn）箱（xiāng）清（qīng）洁（jié）、无垃（lā）圾邮（yóu）件。贝叶斯垃圾邮（yóu）件过滤（Bayesian spam filtering）是一种备（bèi）受瞩目的技术，它（tā）是一种统计技术，基（jī）于（yú）此，电子邮件中词语的审核通过率根据其在（zài）垃圾（jī）和（hé）非垃圾（jī）邮件语料库（kù）中的（de）典型事例来确定。

3.机器（qì）翻译

NLP被越来（lái）越多的应用于机器翻译程序当（dāng）中（zhōng），这（zhè）使得一（yī）种语言被自动翻译（yì）成另一种语言，谷歌是一个将你的文本翻译为所需语（yǔ）言的先驱者。

机器翻译技术所（suǒ）面临的挑（tiāo）战不在于翻译（yì）单词，而在于保留句子的含义，这是一（yī）个复杂的技术问（wèn）题，也是NLP的核心。

4.命名实体（tǐ）提取（Named entity extraction）

它用于从给定的项目集合中分离出具有相似性质和属性的项目。例如（rú）名字、姓氏、年龄、地理位置、地（dì）址、电话号码、电（diàn）子邮件地（dì）址和（hé）公司名称等等。命名实体提取（qǔ）（亦称命名实体识别）使挖掘数（shù）据变得更加容（róng）易。

5.自动汇总

自然语言处理（lǐ）可（kě）用于（yú）从大段文本中提取可（kě）读摘要。例如，我们可以（yǐ）自动总结出一份长篇学术文章的简短摘（zhāi）要（yào）。

接下来我们将深入介绍（shào）一些NLP的技术细节。

当（dāng）自然界与人工（gōng）相逢的（de）时候，机器就像是一个（gè）真（zhēn）正具有生（shēng）命力的人类一（yī）样进入了（le）生活（huó）中。

NLP技术术（shù）语（yǔ）

NLP术语

•语音（yīn）体系（xì）——关于系（xì）统性（xìng）地组织语音的（de）研究。

•形（xíng）态学——这是一个从基本意义单位中进行单（dān）词构建（jiàn）的研究。

•语（yǔ）素——语言中意义的基本单位。

•语法（fǎ）——它（tā）是指单词经过组合（hé）排列构成句子，它（tā）还涉及在句子和短语中确定单（dān）词结构的（de）作用。

•语义——它（tā）涉及（jí）的是单词（cí）的含义，以及该如（rú）何将（jiāng）单词（cí）组合成（chéng）有（yǒu）意义的短语和句子（zǐ）。

•语用学——它涉（shè）及的（de）是在不同情况下使用（yòng）和理解句子以（yǐ）及对（duì）句子的解释是如何受到影响的。

•话语——它指的是前面的句子如何影响对于下一句的解释的。

•常识（shí）性知（zhī）识——它涉（shè）及的是对于世界的一般性认识。

自（zì）然语（yǔ）言处理库（对于开发者而言）

NLP库：

有（yǒu）许（xǔ）多（duō）通用（yòng）的（de）第（dì）三方开源库，开发人员可以使（shǐ）用它们来构建（jiàn）基于NLP的Projects Viz .。

•自然语言工具包（NLTK）

•Apache OpenNLP

•斯坦福（fú）大学NLP套件

•Gate NLP库

自然语言工（gōng）具（jù）包（NLTK）是最通用的自然语言（yán）处理（lǐ）（NLP）库。它是用Python编写（xiě）的，背后有一个很大的（de）社区。

NLP实施（shī）所涉及（jí）的步骤：

它涵（hán）盖了（le）5个主要步骤：

•词法分（fèn）析（xī）——它（tā）对给（gěi）定单词的结构进行识别和分（fèn）析，其中整个（gè）文本数据块在词法分析中（zhōng）被分解成段落、句子和（hé）词汇。

•解析（句法（fǎ）分析）——它涉（shè）及以一（yī）种显示（shì）单词之间的（de）关系的方式对分析句子（zǐ）中的单词进行语（yǔ）法和单词排列分（fèn）析，在这个阶段，任何不（bú）符合语法正确（què）的（de）句子都被拒绝，例如，“building lives in sita”将（jiāng）不会被语法（fǎ）分析器所接受

•语义分析（xī）——对给定的文本进行（háng）分析以从中提取意义。它通过对任务（wù）域中的语法结构和目标进行分析来完成（chéng）。语义分析器拒绝不相（xiàng）关的句子，如（rú）“hot banana”。

•话（huà）语（yǔ）整（zhěng）合——正如我们所知，每个（gè）句子都与（yǔ）前一句话（huà）相互联系（xì），基于倒数第二句的意（yì）义（yì）而（ér）言，任（rèn）何句子都（dōu）变得有（yǒu）意义。同样，它也使（shǐ）得后一句话变得有意义。

•语用分析——在（zài）此期（qī）间（jiān），常（cháng）识性知识被重新定义了，解释了它（tā）们的（de）真（zhēn）实意义（yì）到（dào）底是什么，它涉及到那些需要（yào）常识性知识的语（yǔ）言方面。

用图片（piàn）来解读NLP（点（diǎn）击图（tú）片放大（dà））：

NLP应用程序（xù）：

1.光学字符识别（bié）

2.语（yǔ）音识别

3.机器翻译

4.自然语言生（shēng）成

5.情绪分析（xī）

6.语义（yì）搜索

7.自然语言（yán）编（biān）程

8.情感计算（suàn）

9.开发聊天机（jī）器人