[发明专利]一种文本特征的综合运用方法

说明书

本发明公开了一种文本特征的综合运用方法，属于人工智能技术领域，该方法用完全一致的文本预处理方法处理语料库，然后分别训练TFIDF特征工程模型和Word2vec特征工程模型，得到两个不同的向量矩阵表示的同一语料库；然后将得到的两个向量矩阵简单的拼接为一个维度更高的向量矩阵，使用该向量矩阵训练分类任务模型。本发明结合了TFIDF和word2vec各自的优点和特性进行互补，能够更加全面和准确的描述一个词在文档中的显著性和上下文之间的关联性，提升后续训练分类模型的准确度。

技术领域

本发明涉及人工智能技术领域，具体地说是一种文本特征的综合运用方法。

背景技术

在智慧医疗的实践中，每时每刻都在产生大量的数据，如病人的健康状况、处方、医疗医嘱、病程记录、会诊记录等。在当前智慧医疗蓬勃发展的使其，经过收集、存储这些数据之后，对其进行分类有深远的意义，不但有助于更好的管理数据、以备日后分析和调用，更能通过分类发现数据的分布和内在的规律。面对快速积累的数据，人工分类虽然能保证较高的准确率，但相较于用机器学习的方法，人工分类的效率则较为低下，因此，在大数据日益发展的今天，借助机器学习对医疗行业的数据进行分类归纳势在必行。

发明内容

本发明的技术任务是针对以上不足之处，提供一种文本特征的综合运用方法，能够更加全面和准确的描述一个词在文档中的显著性和上下文之间的关联性，提升后续训练分类模型的准确度。

本发明解决其技术问题所采用的技术方案是：

一种文本特征的综合运用方法，在该方法中，用完全一致的文本预处理方法处理语料库，然后分别训练TFIDF特征工程模型和Word2vec特征工程模型，得到两个不同的向量矩阵表示的同一语料库，但这两个不同的向量矩阵各自有不同的关注点，如词汇的显著性或上下文的相关性；

然后将得到的两个向量矩阵简单的拼接为一个维度更高的向量矩阵，以此增加词向量描述的全面性和准确性，使用该向量矩阵训练分类任务模型，能够提升后续监督训练的学习效果。

其中，TFIDF用于计算词频，包括原始的词频算法和逆文档频率值；

Word2vec用于在TFIDF的基础上，解决词语在上下文中的关联性。

TFIDF既考虑词在文档中的频率，也考虑词在整个语料库中的频率，因此在大多数任务重表现较好且稳定。TF-IDF算法简单快速，结果比较符合实际情况，但单纯以“词频”来衡量一个词的重要性显然不够全面，有时重要的词语出现的次数并不多，并且此算法无法体现词的位置信息。而通过结合Word2Vec算法可以有效解决词语在上下文中的关联性。

在医疗领域产生的文本中，不但有显著的指示性的医学词汇，还有较强的因果关系，即上下文存在紧密联系。因此，综合运用TFIDF和word2vec生成的特征合成为新的特征，该特征同时考虑单个词的特殊性和上下文与其的联系。合并之后的特征可用于优化后续的模型训练。

优选的，所述的文本预处理方法包括分词和去除停用词。

优选的，分别训练TFIDF和Word2vec，得到两个不同的向量矩阵表示的同一语料库，再将得到的两个向量矩阵简单的拼接为一个维度更高的向量矩阵，操作如下：

使用TFIDF获得文档向量维度：N*K；使用Word2vec获得文档向量维度：N*L；两个向量矩阵拼接为一个维度更高的向量矩阵：N*(K+L)。

具体的，该方法的具体实现步骤如下：

1)、文本预处理，包括分词和去除停用词，有多种可以采用的工具，例如jieba、thulac等，停用词库可以自己构建或使用各机构开源的停用词库，二者皆可根据实际需要结合医疗文本的特点进行人工扩充；

2)、分别使用TFIDF和Word2Vec训练出两个特征工程模型，保存为向量矩阵模式；