[发明专利]金融业务数据样本生成方法及装置

说明书

本发明提供了一种金融业务数据样本生成方法及装置，该方法包括：对金融业务原始数据样本中的连续列数据通过变分高斯混合模型VGM模型进行归一化处理；对所述金融业务原始数据样本中的离散列数据构建条件向量；对归一化处理后的所述连续列数据进行建模，以及基于所述条件向量对所述离散列数据进行建模，并基于所述连续列数据和所述离散列数据的建模生成金融业务数据样本。在本发明中，连续列数据通过变分高斯混合模型VGM模型进行归一化处理；对所述金融业务原始数据样本中的离散列数据构建条件向量，以处理不平衡的离散列，从而可以同时对离散数据样本和连续数据样本进行建模，提高了金融业务数据样本生成质量。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种金融业务数据样本生成方法及装置。

背景技术

随着金融业信息化、科技化的进程不断加速，同时伴随着计算机技术的不断发展进步，大数据与人工智能等技术与金融业务的结合愈发紧密，传统金融业也逐渐转型成为金融科技行业。在不断深入应用人工智能(AI)技术的过程中，金融科技企业发现，在数据采集方面遇到了一些难以避免的障碍：在创建及使用AI模型时，数据缺失或不完整就无法满足模型的需要，而已收集的数据存在样本类别不平衡或受限于安全隐私监管不可用等问题，而重新采集数据、标注数据的过程较为困难且成本高昂。

尽管金融科技企业在应用AI技术方面已经十分纯熟，但进一步加强对AI模型的应用却存在一些数据采集方面的难题。一大挑战是，由于金融监管和数据安全方面的要求，金融科技企业需要实施额外的安全措施来处理所收集的大量包含敏感和机密信息的数据。这增加了数据采集及处理的成本，同时削减了可用数据样本的数量。另一方面，金融业务中的数据存在很严重的类别不平衡问题，如欺诈行为样本远少于正常行为样本。由此种种原因，可用数据样本质量与数量方面的限制已经制约了AI模型在金融科技领域的进一步发展。

现有的数据样本生成方法主要包括结合业务知识的统计学方法及过采样方法两类。结合业务知识的统计学方法的不足之处在于，需要业务人员有过硬的业务理解及统计学专业知识，才能利用现有数据模拟生成新数据样本。这种方法门槛较高，且生成样本的数据分布未必能学习到现有数据的数据分布。而过采样方法的代表方法是随机过采样及SMOTE(Synthetic Minority Oversampling Technique)方法，这类方法的不足之处在于，容易产生分布边缘化问题，模糊了正类样本和负类样本的边界，容易加大训练分类模型的难度。

发明内容

本发明实施例提供了一种金融业务数据样本生成方法及装置，以至少解决相关技术中金融业务数据样本生成不理想的问题。

根据本发明的一个实施例，提供了一种金融业务数据样本生成方法，包括：对金融业务原始数据样本中的连续列数据通过变分高斯混合模型VGM模型进行归一化处理；对所述金融业务原始数据样本中的离散列数据构建条件向量；对归一化处理后的所述连续列数据进行建模，以及基于所述条件向量对所述离散列数据进行建模，并基于所述连续列数据和所述离散列数据的建模生成金融业务数据样本。

在一个示例性实施例中，对金融业务原始数据样本中的连续列数据通过变分高斯混合模型VGM模型进行归一化处理，包括：通过VGM模型模拟连续列数据的高斯混合分布；对于该连续列中的每个值，计算每个值来自每个分布模式的概率；用独热向量β表示每个值来自每个分布模式，而标量α代表其在模式内的值。

在一个示例性实施例中，对所述金融业务原始数据样本中的离散列数据构建条件向量，包括：在模型中设置条件生成器，对条件进行采样以生成条件向量，使得生成器生成的分布与训练数据中离散变量的分布相匹配。

在一个示例性实施例中，采取条件式生成对抗网络模型作为金融业务数据样本生成模型，所述条件式生成对抗网络模型包括生成器和判别器，在所述生成器和鉴别器中使用全连接网络来捕获列之间所有可能的关联。