[发明专利]基于跨域数据的评估模型的优化方法及设备

说明书

本申请的目的是提供基于跨域数据的评估模型的优化方法及设备，本申请通过获取并确定至少三种数据源的原始数据和准确率；其中，每种所述数据源的原始数据包括至少两条；将所述准确率最高时对应的数据源的原始数据作为训练集；按照准确率从高到低的顺序将数据源的原始数据加入至训练集进行模型训练，以得到模型性能最优的且用于对不同数据源的原始数据进行因变量评估的最终评估模型，不仅保证了模型训练过程中的训练集的多样性，还能使模型能最大化的满足实际应用场景的需求，进一步提高训练所得模型的精确度，从而可以最大程度避免错误的且来源于不同分布的数据源所带来的负面影响，以克服机器学习实践中常见的跨域数据的数据质量问题。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于跨域数据的评估模型的优化方法及设备。

背景技术

现有技术中，在有监督的统计、机器学习及深度学习建模中，训练数据的一致性分布和准确性是一个基础。绝大部分预测算法的前提假设都是：训练数据因变量100％准确和训练数据来自同一个分布，但在解决真实的业务问题时，常常难以保证以上两点。例如，训练欺诈侦测模型需要收集欺诈交易作为训练样本，一笔历史交易是否存在欺诈，由不同的审核人员人工审核，每个人员的审核的标准存在一定差异；又例如，短视频内容分类模型需要大量已分类的短视频作为训练样本，但分类工作通常由多个外包供应商提供，每个机构的分类标准和分类准度都不同；又例如，商户经营分类模型需要已分好类的商户数据作为训练样本，但商户的经营类目通常由不同收单机构的商业拓展人员手工输入，每个人员的判断标准都不一样，有些人甚至是胡乱填写，导致进行模型训练的数据不完整且存在实际偏差，使得训练所得的模型的精确度不高，无法反应真实应用场景的需求。

发明内容

本申请的一个目的是提供基于跨域数据的评估模型的优化方法及设备，以解决数据源不完整且无法满足实际应用场景的需求的问题，使得不仅保证了模型训练过程中的训练集的多样性，还能使模型能最大化的满足实际应用场景的需求，进一步提高训练所得模型的精确度，从而可以最大程度避免错误的且来源于不同分布的数据源所带来的负面影响，以克服机器学习实践中常见的跨域数据的数据质量问题。

根据本申请的一个方面，提供了基于跨域数据的评估模型的优化方法，应用于客户端，其中，所述方法包括：

步骤一、获取并确定至少三种数据源的原始数据和准确率；其中，每种所述数据源的原始数据包括至少两条；

步骤二、将所述准确率最高时对应的数据源的原始数据作为训练集；

步骤三、对所述训练集中的所有原始数据进行模型训练，得到用于数据的因变量评估的第一评估模型，并测试所述第一评估模型的性能得到第一性能值；

步骤四、按照所述准确率从高到低的顺序，累计加入下一准确率对应的数据源的原始数据至所述训练集，并重复所述步骤三得到第二评估模型及其第二性能值；

步骤五、根据所述第一性能值和所述第二性能值判断所述第二评估模型是否比所述第一评估模型的性能提升，若是则将所述第二评估模型作为更新后的第一评估模型，若否，则保持所述第一评估模型不变；

步骤六、对所述至少三种数据源中的、除所述准确率最高时对应的数据源和所述下一准确率对应的数据源以外的其他数据源重复所述步骤四和所述步骤五，直至累计加入完所述至少三种数据源至所述训练集，得到用于对不同数据源的原始数据进行因变量评估的最终评估模型。

进一步地，上述方法中，所述步骤四、按照所述准确率从高到低的顺序，累计加入下一准确率对应的数据源的原始数据至所述训练集，并重复所述步骤三得到第二评估模型及其第二性能值，包括：

步骤四一、按照所述准确率从高到低的顺序，基于所述第一评估模型分别对所述下一准确率对应的数据源的每条原始数据进行因变量预测，得到所述下一准确率对应的数据源中的每条原始数据的预测结果；