自然语言处理和文本挖掘的关系

Question

如题所述

Answer 1

自然语言处理（NLP）关注的是人类的自然语言与计算机设备之间的相互关系。NLP是计算机语言学的重要方面之一，它同样也属于计算机科学和人工智能领域。而文本挖掘和NLP的存在领域类似，它关注的是识别文本数据中有趣并且重要的模式。

但是，这二者仍有不同。首先，这两个概念并没有明确的界定（就像“数据挖掘”和“数据科学”一样），并且在不同程度上二者相互交叉，具体要看与你交谈的对象是谁。我认为通过洞见级别来区分是最容易的。如果原始文本是数据，那么文本挖掘就是信息，NLP就是知识，也就是语法和语义的关系。

虽然NLP和文本挖掘不是一回事儿，但它们仍是紧密相关的：它们处理同样的原始数据类型、在使用时还有很多交叉。

我们的目的并不是二者绝对或相对的定义，重要的是要认识到，这两种任务下对数据的预处理是相同的。

努力消除歧义是文本预处理很重要的一个方面，我们希望保留原本的含义，同时消除噪音。

以下就是处理文本任务的几大主要步骤：

1.数据收集

获取或创建语料库，来源可以是邮箱、英文维基百科文章或者公司财报，甚至是莎士比亚的作品等等任何资料。

2.数据预处理

在原始文本语料上进行预处理，为文本挖掘或NLP任务做准备

数据预处理分为好几步，其中有些步骤可能适用于给定的任务，也可能不适用。但通常都是标记化、归一化和替代的其中一种。

3.数据挖掘和可视化

无论我们的数据类型是什么，挖掘和可视化是探寻规律的重要步骤

常见任务可能包括可视化字数和分布，生成wordclouds并进行距离测量

4.模型搭建

这是文本挖掘和NLP任务进行的主要部分，包括训练和测试

在适当的时候还会进行特征选择和工程设计

语言模型：有限状态机、马尔可夫模型、词义的向量空间建模

机器学习分类器：朴素贝叶斯、逻辑回归、决策树、支持向量机、神经网络

序列模型：隐藏马尔可夫模型、循环神经网络（RNN）、长短期记忆神经网络（LSTMs）

5.模型评估

模型是否达到预期？

度量标准将随文本挖掘或NLP任务的类型而变化

以上观点仅供参考，而在自然语言文本预处理方面的技术在国内效果比较好的并不多，具有代表性的如：北理工张华平博士的NLPIR大数据语义智能分析技术。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。如果感兴

Answer 2

文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。  

文本挖掘是一个多学科混杂的领域，涵盖了多种技术，包括数据挖掘技术、信息抽取、信息检索，机器学习、自然语言处理、计算语言学、统计数据分析、线性几何、概率理论甚至还有图论。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。

所以自然语言处理与文本挖掘是相互包含关系，可以相互联系相互影响。

而北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

Answer 3

自然语言处理和文本挖掘的关系，其实是相辅相成的。因为文本可以承载的这些信息

Answer 4

虽然原处理课文本周应该挖掘关系中用了两年，把这水认为这个玩具小孩为什么都选对象，非那么难受的。

Answer 5

之前语言处理和文字发现的关系，就是说语言的处理跟文本的关系有很大的一个合作关系。