[发明专利]一种文本的向量化方法以及装置

说明书

本发明公开一种文本的向量化方法以及装置，涉及文本向量化领域。其中，所述方法包括：获取待处理的文本，并确定所述文本的应用类型，得到所述文本的样本；提取所述样本的所有单字符元素，得到所述样本的单字符集合；根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合；将所述单字符集合和所述双字符集合进行合并，得到词表；根据所述词表构建得到所述文本的文本向量。本发明去除了中文切词，避免了切词针对舆情等口语化句子引入的误差及其后续的误差级联效应，并且对舆情等口语化句子的错别字具有较好的容错能力。

技术领域

本发明涉及文本向量化领域，具体地，涉及一种文本的向量化方法以及装置。

背景技术

对于各种机器学习算法来说，它们的输入是向量，输出可以是连续的值或者离散的值。文本分类或聚类是机器学习领域的一个非常重要的应用，文本向量化则是进行文本分类或聚类的第一步，它直接决定机器学习最终结果的好坏。

现有的文本向量化技术如下：

TF-IDF(term frequency–inverse document frequency，词频-逆文档频率)是一种用于信息检索与数据挖掘的常用加权技术。句子向量的维度是词表的个数，每个维度的值是对应词表的词通过TF-IDF方法计算出来的权重。TF是指某个词在单个句子中出现的次数，由于句子长度不一，需要进行标准化处理；IDF是指逆文档频率，计算公式为log(语料库句子总数/(包含该词的句子数+1))；最终句子维度对应的TF-IDF值为TF*IDF。

Word2Vec主要使用的技术方法有Continuous Bag-of-Word Model(CBOW)和Continuous Skip-gram Model。CBOW的原理是根据上下文来预测当前词语的概率，而Skip-gram则是通过当前词语来预测上下文的概率，它们的核心都是神经网络算法，得到的词向量维度较低(100-400比较理想)，词相似度可以很方便通过向量夹角进行计算。但是，我们很难从词向量得到表征句子语义的向量，所以出现了Doc2Vec，可以直接把句子转化为向量。Doc2Vec方法除了额外增加一个句子向量外，与Word2Vec没太大区别。

然而，现有技术存在如下问题：

1、现有技术基本都是基于中文切词，中文切词在书面形式的句子的应用上效果还行，但是处理像舆情这类的口语化句子的效果不佳，会引入相当一部分误差。由于级联效应的存在，会对最终机器学习的结果产生很大程度的影响。此外，依赖于中文切词，对舆情等口语化句子的容错能力较差。

2、TF-IDF类型的文本向量化方法最终产生的向量维度较高，从几万到几十万不等，导致资源消耗较大，并且训练过程较长。如果进行降维处理，就会丢失部分信息。Word2Vec或Doc2Vec虽然最终的向量维度不高，但是需要强大的语料集来支持，训练耗时耗资源。

3、TF-IDF的向量化方案都是有损语义的，即句子和向量是多对一的关系，而这些句子是对应不同种类的，无法进行语义还原。Word2Vec或Doc2Vec基于统计，相似的句子结构就会有相似的向量，无法进行语义还原。

发明内容

针对现有技术的缺陷，本发明提供一种文本的向量化方法，通过去除中文切词，避免了切词针对舆情等口语化句子引入的误差及其后续的误差级联效应，并且对舆情等口语化句子的错别字具有较好的容错能力。

依据本发明的第一方面，提出了一种文本的向量化方法，所述方法包括：

获取待处理的文本，并确定所述文本的应用类型，得到所述文本的样本；

提取所述样本的所有单字符元素，得到所述样本的单字符集合；

根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合；