[发明专利]基于ERNIE模型和DCNN模型的还款预测方法

说明书

本申请公开了一种基于ERNIE模型和DCNN模型的还款预测方法，该方法充分利用电话催收过程中生成的语音数据，并利用预训练后的ERNIE模型生成语音数据的语义表示，最终利用DCNN模型根据该语义表示确定预测结果。由于ERNIE模型在预训练过程中采用字掩码、词掩码、实体掩码和随机掩码四种掩码策略，因此能够学习到字层面、词层面、实体层面等知识信息，使得模型能够更好的捕捉到语义信息。而DCNN模型的宽卷积会使句子的长度增加，避免边缘信息丢失，且DCNN模型的动态池化层，能够保留原来序列的次序，显著提升还款预测的准确性和可靠性。此外，本申请还提供了一种基于ERNIE模型和DCNN模型的还款预测装置、设备及可读存储介质，其技术效果与上述方法相对应。

技术领域

本申请涉及自然语言处理技术领域，特别涉及一种基于ERNIE模型和DCNN模型的还款预测方法、装置、设备及可读存储介质。

背景技术

随着信用卡业务的规模的不断扩大和借贷人群的不断下沉，信用卡贷后催收业务面临着新的挑战。

传统催收预测模型采用的数据为用户的申请资料或当前贷后还款信息，基于这些数据预测过程包括：对当前申请资料信息进行预处理，得到当前资料信息的目标自变量特征信息；对此信息采用算法模型搭建，然后通过大量的数据训练得到催收预测模型，从而达到提高预测精度的目的。但是，该方案没有有效利用对用户电话沟通过程中产生的大量语音数据，在催收过程中用户的语音数据是真实且宝贵的，能够为催收预测提供诸多有价值的信息，而这些信息是申请资料和贷后还款信息无法提供的。

随着机器学习和深度学习的快速发展，从大规模的对话数据中学到有用信息成为可能。文本分类作为自然语言处理的一个重要分支，在近几年里得到了快速发展，目前一般通过深度学习进行文本分类，基于深度学习的文本分类效果的好坏取决于对如何更好地提取出数据的潜在语义信息特征。传统的机器学习通过one-hot编码、TFIDF、LDA、LSA等算法提取数据潜在信息，但是这些算法存在维度灾难的问题，而word2vec、glove、fasttext等词向量模型虽然有着各自的优点，但是却也存在依赖于输入数据的质量与数量大小，对于不同领域的知识仍然存在需要重新进行训练才能再次使用的尴尬处境。

使用大规模语料库训练出预训练模型，然后针对不同任务再来对预训练模型进行微调的方式有效解决了上述问题，其典型代表就是BERT(Bidirectional EncoderRepresentation from Transformers)模型及其泛化模型。而为了进一步提高分类任务的效果，使用BERT-CNN(Convolutional Neural Networks)模型是一种非常不错的解决方案。但是，该方案至少存在以下两个缺陷：

(1)BERT模型在进行掩码过程中仅仅从字层面进行掩码，没有考虑到词之间存在的相关性，对语言模型联合概率存在偏差估计，同时存在预训练过程和生成过程存在不一致的情况，从而会导致预测精度较差。

(2)CNN模型的卷积层的操作会使句子的长度变短，导致边缘信息丢失，且CNN模型池化层的操作会打乱句子的顺序。

综上，如何充分利用电话催收过程中生成的语音数据，提升催收预测精度，并克服前述方案的缺陷，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于ERNIE模型和DCNN模型的还款预测方法、装置、设备及可读存储介质，用以解决当前的催收预测方案没有充分利用电话催收过程中的语音数据，导致预测精度较低的问题。其具体方案如下：

第一方面，本申请提供了一种基于ERNIE模型和DCNN模型的还款预测方法，包括：

利用文本数据集对ERNIE模型进行预训练；

将预训练后的ERNIE模型与DCNN模型进行层级连接，得到还款预测模型；