自然语言（yán）处（chù）理(NLP)的一般处理流（liú）程！

1. 什么（me）是NLP

自然语言处理（lǐ） (Natural Language Processing) 是人工智能（AI）的一（yī）个（gè）子领域。自然语言处理是研（yán）究在人与人交互中以及在（zài）人与计算机交互（hù）中的语言问题的一门学（xué）科（kē）。为了（le）建设（shè）和完善语言模型，自然（rán）语言（yán）处理建立计算框（kuàng）架（jià），提出相应（yīng）的方法来不断的完（wán）善设计各种实（shí）用系统，并探讨这些实用系统（tǒng）的（de）评测（cè）方法。

2. NLP主要研究方向

信息抽取：从给定文本中抽取重（chóng）要的（de）信息（xī），比如时（shí）间、地点、人（rén）物、事件、原因、结果、数（shù）字（zì）、日期、货（huò）币、专有（yǒu）名词等（děng）等（děng）。通俗说来，就（jiù）是要了解谁（shuí）在什么时候、什么（me）原因、对谁、做了什么事、有（yǒu）什么（me）结果。

文（wén）本生成：机（jī）器像人一样（yàng）使（shǐ）用自（zì）然语言进行表达和写作。依（yī）据输入的不同，文本生成技（jì）术主要（yào）包括数（shù）据到文本生成和文本到文本（běn）生成。数据到文本生成是指将包含键值对的数据转化为（wéi）自然语言文本；文本到文本生成对输入（rù）文本进行转化和处理从而（ér）产生新的文本。

问答系统：对（duì）一个自（zì）然语言表达（dá）的（de）问题，由问答系统（tǒng）给出（chū）一个（gè）精准的答案。需要对自然（rán）语言查询（xún）语句进行某种程度的语义分析，包括实体链接（jiē）、关系识（shí）别，形成逻辑表达式，然后到知识库中（zhōng）查找可（kě）能的候选答案并通过一（yī）个排序机制找（zhǎo）出最佳的答案。

对话（huà）系统：系统通（tōng）过一系（xì）列的对话，跟用户（hù）进行聊（liáo）天、回答、完成某一项（xiàng）任务。涉及到用（yòng）户（hù）意图理（lǐ）解、通用聊天引擎、问答引擎、对话管理等技术（shù）。此外（wài），为（wéi）了体现上下文（wén）相（xiàng）关，要具备多轮对（duì）话能力（lì）。

文（wén）本挖（wā）掘（jué）：包括文本聚（jù）类、分（fèn）类、情感分析以及对挖掘的信息和（hé）知识的可（kě）视化、交互式的表达界面。目前主流（liú）的技术都是基于统（tǒng）计机器学习的。

语音识（shí）别和生（shēng）成：语（yǔ）音识别是将输入计算机的语（yǔ）音符号识别转换成书面（miàn）语表示。语音（yīn）生成（chéng）又称文（wén）语转换、语音合成（chéng），它是指将书面文本自动（dòng）转换成对（duì）应的语音表征。

信（xìn）息过滤：通过计算（suàn）机系统自动识（shí）别和过滤符合特定（dìng）条（tiáo）件（jiàn）的（de）文（wén）档信息。通常（cháng）指网络有害（hài）信息的自动识别（bié）和过滤，主要用于信息（xī）安全和（hé）防（fáng）护，网（wǎng）络内容管理（lǐ）等（děng）。

舆（yú）情分析（xī）：是指收集和（hé）处理海量（liàng）信息，自动化地对网络舆情（qíng）进行分析，以实现及时应对网（wǎng）络舆情的（de）目的。

信息检索（suǒ）：对大规模的文档进行索引。可简单对文档中（zhōng）的词汇，赋之以不同的权重来建立索引，也（yě）可（kě）建立更加深层的（de）索引。在查询的时候，对输（shū）入的（de）查询表达式比如一个检索词或（huò）者（zhě）一（yī）个句（jù）子进行分析，然后在索引里面查找匹配的候（hòu）选（xuǎn）文档（dàng），再根据（jù）一个排序机制把候（hòu）选文档排序，最后输出排序得分（fèn）最高（gāo）的文档。

机器翻译：把输（shū）入的源（yuán）语言文本通过自动翻译（yì）获得另外一种语言（yán）的文本。机器翻译从（cóng）最早的基于规（guī）则的（de）方（fāng）法到二十年前的基于统计（jì）的（de）方法，再到今天的（de）基于神经网（wǎng）络（编（biān）码-解码）的（de）方法，逐渐形成了一套比较严谨的方法体（tǐ）系。

3. NLP的发展

1950年（nián）前:图灵测试 1950年前阿兰·图灵图（tú）灵测试:人和（hé）机器进行交流，如果（guǒ）人无（wú）法判断（duàn）自己交流（liú）的对象（xiàng）是人（rén）还是机器，就说明这个机器具有智能。

1950-1970:主（zhǔ）流:基于规则形式（shì）语言理论

乔姆斯基，根据数（shù）学中的（de）公理化方法研究（jiū）自然（rán）语言，采用代数和集合论把形式语（yǔ）言定义（yì）为符号（hào）的序（xù）列（liè）。他试图使用有限的规（guī）则描（miáo）述无限的语言现象，发（fā）现人类普（pǔ）遍的语言机（jī）制，建立所（suǒ）谓的普遍语法（fǎ）。

1970-至今:主流:基于统计 谷歌、微软、IBM，20世纪70年代，弗里德里克（kè）·贾里尼克（kè）及其领导的IBM华（huá）生实验室将语音识别（bié）率从70%提升到90%。 1988年，IBM的彼（bǐ）得·布朗提出（chū）了基于统计（jì）的机器翻译方（fāng）法。 2005年，Google机器（qì）翻译打败基于规则（zé）的（de）Sys Tran。

2010年以（yǐ）后（hòu）:逆袭:机（jī）器（qì）学（xué）习

AlphaGo先后战胜李世石、柯洁等，掀起人工智能（néng）热潮。深度学习、人工神经网络成为热词（cí）。领域:语音识别、图像识别、机器翻（fān）译、自（zì）动驾驶（shǐ）、智能家居。

4. NLP任务的一般步（bù）骤

下面图（tú）片看不清楚的，可（kě）以百度脑图查看，点击链接

5. NLP、CV，选（xuǎn）哪（nǎ）个？

NLP：自然语（yǔ）言处理，数据是文本。

CV：计算（suàn）机视（shì）觉，数据是（shì）图像。

两者属于不同的领域（yù），在遇（yù）到这个问题的时候，我也是犹豫（yù）了很久，想了（le）很（hěn）多，于是乎得出一个结论:都是利用深（shēn）度学习（xí）去解决（jué）现实世界存在（zài）的问（wèn）题，离开了CV，NLP存（cún）活不了；离开了NLP，CV存活不（bú）了。两者就像兄弟姐妹一（yī）样，整个“家庭”不能分割但个（gè）体（tǐ）又存在差异！

NLP/CV属（shǔ）于（yú）两个不同的研究领域，都是很好的领域，可以根据（jù）自（zì）己的爱好作（zuò）出适合自己的选（xuǎn）择，人工（gōng）智能是一个多学科交叉的领（lǐng）域（yù），需要（yào）的不仅仅是单（dān）方面的能力（lì），而是（shì）多方面（miàn）的能力。对于每个人来说都有自己的侧重点，选择自己擅长的领域里持续（xù）深耕，就会有所成就！