[发明专利]一种基于Wide＆Deep深度学习模型的文本预测方法

说明书

本发明公开了一种基于WideDeep深度学习模型的文本预测方法。本发明旨在解决深度学习模型中对人工特征的充分利用以及WideDeep模型预测时的计算消耗问题。本发明的实施方案是：首先对文本数据进行标注，其次构建Wide特征，然后对基于WideDeep的深度学习模型添加辅助训练任务，最后对文本内容进行预测。本发明提及的人工特征作为深度学习模型训练过程中的附加任务，为模型提供了更多的有效信息，提高了模型学习效率。并且，在文本内容预测时不需要计算Wide特征，从而提升了模型性能。不同宽度的卷积核卷积后，可以通过一次卷积block获得不同距离上的信息，这有助于提升模型性能。同时，减少调整不同卷积核的时间，通过模型学习能自动适应不同的卷积核宽度。

技术领域

本发明涉及深度学习模型的一种基于WideDeep深度学习模型的文本预测方法，主要是深度学习模型的训练架构的设计方法。

背景技术

目前最主要的深度学习模型包括端到端的学习、人工特征、WideDeep模型。在WideDeep模型中，一般是先通过人工整理出有效的特征作为wide特征，以加速深度学习模型的训练速度,提高模型的性能。然后构建深度神经网络模型得到deep特征。最后计算wide特征和deep特征进行文本内容预测。但是,提取wide特征和deep特征是两个独立的过程，不能充分利用对方构建深度学习过程中的完整信息。并且在模型预测时需要先计算wide特征，再计算deep特征，使得模型的时效性较差。

发明内容

本发明旨在解决深度学习模型中对人工特征的充分利用以及WideDeep模型预测时的计算消耗问题。提出了一种基于WideDeep深度学习模型的文本预测方法。

本发明首先对文本数据进行标注，其次构建wide特征，然后对基于WideDeep的深度学习模型添加辅助训练任务，最后对文本内容进行预测。

本发明解决其技术问题所采用的技术方案如下：

步骤1：文本数据的预处理。

1-1.收集文本数据集X＝{x₁,x₂,…x_N}，N为总的训练样本数量。其中，x_i∈{x₁,x₂,…x_N}，x_i表示第i个待处理的文本数据。

1-2.利用人工对文本数据进行标记，针对文本数据集中每一个文本数据x_i，标记对应的y_i，y_i∈{0,1}。标记文本数据的目的在于根据业务需要利用人工经验对文本数据进行分析，其中，1表示和业务相关，0表示不相关。

1-3.利用Jieba分词器对文本数据集X进行分词，汇总得到所有文本数据的词表W，W＝{w₁,w₂…,w_D}，其中D为词表的总长度。w_k表示词表中第k个词。则文本数据x_i可以表示为其中k_n表示文本数据x_i中第n个词在词表W中的序号，从而可用词表序号重新表示文本数据x_i＝{k₁,k₂…,k_n}。

步骤2：人工特征提取，构建wide特征。

2-1.统计文本数据集X中y_i＝1对应的所有文本数据x_i中的词，得到出现频率最高的与业务相关的词，并排序获得序列Ⅰ；以及y_i＝0对应的所有文本数据x_i中的词，得到出现频率最高的与业务不相关的词，并排序获得序列Ⅱ。

2-2.排除序列Ⅰ和序列Ⅱ中的语法型词汇，包括代词、冠词、连词等停用词。