文本指的是由一定的符号或符码组成的信息结构体,这种结构体可采用不同的表现形态,如语言的、文字的、影像的等等。文本数据来源于自然语言,具有如下特点:半结构化、高数据量、语义性。
文本数据通常指英文字母、汉字、不作为数值使用的数字(以单引号开头)和其他可输入的字符。文本数据不同于传统数据库中的数据,具有以下特点:①半结构化。文本数据既不是完全无结构的,也不是完全结构化的。文本可能包含结构字段,如标题、作者、出版日期、长度、分类等,也可能包含大量的非结构化的数据,如摘要和内容。②高数据量。一般的文本库中都会存在至少数千个文本样本,对这些文本进行预处理、编码、挖掘等处理的工作量是非常庞大的,因而手工方法一般是不可行的。③语义性。文本数据中存在着一词多义、多词一义,在时间和空间上的上下文相关等多种复杂情况。
文本分析是处理文本数据的常用方法,指对文本的表示及其特征项的选取。文本分析过程可以包括:①词性分析,如自动分词,命名实体识别,词性标注等。②句法分析,如确定句子句法结构,句子中词汇之间的依存关系。③语义分析,如词义消歧,语义角色标注,指代消歧等。
而文本挖掘是在文本分析的基础上、从大量文本数据中抽取出有价值的知识,并且利用这些知识重新组织信息的过程。文本数据的挖掘是信息挖掘的一个研究分支,用于基于文本信息的知识发现,是图像、语言、自然语言理解与知识挖掘中的重要内容。文本挖掘是一个多学科混杂的领域,涵盖了多种技术,包括数据挖掘技术、信息抽取、信息检索,机器学习、自然语言处理、计算语言学、统计数据分析、线性几何、概率理论甚至还有图论。
文本数据处理的研究方向有:机器翻译,自动文摘,信息检索,文档分类,问答系统,信息过滤,信息抽取,文本挖掘,舆情分析,隐喻计算,文字编辑和自动校对,作文自动评分等。文本处理涉及形态学、语法学、语义学、语用学等几个层次的问题,应用领域非常广泛。
研究面临的主要困难是歧义消解问题和未知语言现象的处理。歧义消解是文本处理分析的要解决的基本问题,在汉语中,如举例所示:①自动化/研究所/取得/的/成就;②自动化/研究/所/取得/的/成就,在不同的文本分词切割下会有不同的语义。
联系客服