[发明专利]基于ERNIE模型和DCNN模型的还款预测方法

权利要求书

1.一种基于ERNIE模型和DCNN模型的还款预测方法，其特征在于，包括：

利用文本数据集对ERNIE模型进行预训练；

将预训练后的ERNIE模型与DCNN模型进行层级连接，得到还款预测模型；

获取电话催收过程中生成的语音数据，采用ASR技术将所述语音数据转换为文本数据，并添加标签，得到训练样本；

利用所述训练样本，对所述还款预测模型进行训练；

将待测语音数据对应的文本数据输入训练完成的还款预测模型，得到预测结果。

2.如权利要求1所述的方法，其特征在于，在所述采用ASR技术将所述语音数据转换为文本数据之后，还包括：

利用kenLM纠错模块或pycorrect纠错模块对所述文本数据进行纠错。

3.如权利要求1所述的方法，其特征在于，所述利用文本数据集对ERNIE模型进行预训练，包括：

根据文本数据集和多种掩码策略，构造训练集，所述多种掩码策略包括字掩码策略、词掩码策略、实体掩码策略、随机掩码策略；

利用所述训练集对所述ERNIE模型进行预训练。

4.如权利要求3所述的方法，其特征在于，所述多种掩码策略还包括句子掩码策略，所述句子掩码策略为：对于目标句子，随机选择起始位置进行掩码，掩码比例不超过所述目标句子句长的预设比例。

5.如权利要求1所述的方法，其特征在于，所述将待测语音数据对应的文本数据输入训练完成的还款预测模型，得到预测结果，包括：

将待测语音数据对应的文本数据输入训练完成的还款预测模型的ERNIE模型，得到语义表示；

将所述语义表示输入训练完成的还款预测模型的DCNN模型，得到预测结果。

6.如权利要求5所述的方法，其特征在于，所述DCNN模型包括宽卷积层、动态池化层、Folding层、全连接层，所述将所述语义表示输入训练完成的还款预测模型的DCNN模型，得到预测结果，包括：

利用宽卷积层对所述输入语义层表示进行卷积操作,提取完整句子信息，得到卷积结果，其中所述完整句子信息包括句首信息和句尾信息；

利用动态池化层对所述卷积结果进行池化操作，得到池化结果；

利用Folding层对所述池化结果进行降维，得到降维结果；

利用全连接层将所述降维结果确定预测结果。

7.如权利要求5所述的方法，其特征在于，所述ERNIE模型包括文本编码器和知识型编码器，所述将待测语音数据对应的文本数据输入训练完成的还款预测模型的ERNIE模型，得到语义表示，包括：

利用文本编码器根据所述文本数据生成文本信息，所述文本信息词法信息和句法信息；

利用知识型编码器将所述文本数据的知识信息整合到所述文本信息，得到语义表示。

8.一种基于ERNIE模型和DCNN模型的还款预测装置，其特征在于，包括：

预训练模块：用于利用文本数据集对ERNIE模型进行预训练；

模型构建模块：用于将预训练后的ERNIE模型与DCNN模型进行层级连接，得到还款预测模型；

训练样本生成模块：用于获取电话催收过程中生成的语音数据，采用ASR技术将所述语音数据转换为文本数据，并添加标签，得到训练样本；

模型训练模块：用于利用所述训练样本，对所述还款预测模型进行训练；

预测模块：用于将待测语音数据对应的文本数据输入训练完成的还款预测模型，得到预测结果。

9.一种基于ERNIE模型和DCNN模型的还款预测设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的基于ERNIE模型和DCNN模型的还款预测方法。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的基于ERNIE模型和DCNN模型的还款预测方法。