文本挖掘

文本挖掘（Text mining）有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生，如模式识别。文本挖掘通常涉及输入文本的处理过程（通常进行分析，同时加上一些衍生语言特征以及消除杂音，随后插入到数据库中） ，产生结构化数据，并最终评价和解释输出。'高品质'的文本挖掘通常是指某种组合的相关性，新颖性和趣味性。典型的文本挖掘方法包括文本分类，文本聚类，概念/实体挖掘，生产精确分类，观点分析，文档摘要和实体关系模型（即，学习已命名实体之间的关系） 。 文本分析包括了信息检索、词典分析来研究词语的频数分布、模式识别、标签\注释、信息抽取，数据挖掘技术包括链接和关联分析、可视化和预测分析。本质上，首要的任务是，通过自然语言处理（NLP）和分析方法，将文本转化为数据进行分析。

历史

劳工密集型的人工纯文字挖掘方法最早出现在20世纪80年代中期，但在过去的十年中，技术的进步已经使这一领域迅速取得进展。文本挖掘已经是信息检索、数据挖掘、机器学习、统计以及计算语言学等学科中的重要领域。由于目前的大多数信息（80％）是以文本的形式来保存，文本挖掘被认为具有较高的商业潜在价值。

多语种数据挖掘已经越来越多的引起人们的兴趣：能够根据自己的意愿从跨语种的文字来源中挖掘出有用的信息。

应用

安全应用

许多文本挖掘的软件包是面对安全设备的。它们多数是出于国家安全的的目的，监控和分析类似于互联网新闻、博客等的在线纯文本。 [1] 对文本挖掘的研究还被包含在文本解密的领域中。

软件和应用

开源软件和应用

Weka工具 http://www.cs.waikato.ac.nz/ml/weka/

注释
  1. Zanasi, Alessandro. . Advances in Soft Computing 53: 53. 2009. ISBN 978-3-540-88180-3. doi:10.1007/978-3-540-88181-0_7.

参考资料

更多链接
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.