[发明专利]一种面向真实世界数据的机器学习系统与方法

说明书

本发明提出一种面向真实世界数据的机器学习系统与方法，包括数据预处理模块、随机采样模块、实验数据处理模块、数据平衡处理模块、机器学习模块和评估模块。按照实验数据、随机采样数据、平衡数据分别导入到机器学习模块训练预测模型并对预测结果进行评估的路径设置组成。通过不同机器学习算法对不同训练数据和测试数据的交叉验证，获得对真实世界数据预测水平最佳的机器学习预测模型和预测结果。本发明结构简单、逻辑清晰和集成度高，容易实现，系统性的解决面向真实世界数据的机器学习的复杂性和盲目探索性问题。

技术领域

本申请涉及机器学习技术领域，具体为一种面向真实世界数据的机器学习系统与方法。

背景技术

真实世界数据（Real World Data，RWD）是指来源于日常所收集的各种与患者健康状况、诊疗及保健有关的数据。可用于支持多种类型的临床研究。与RWD对应的是随机对照实验（RandomizedControlled Trail，RCT）采用的实验数据。实验数据具有严格的排除纳入标准和干预性的缺陷，研究的结果特异性明显，但外部有效性受到制约。RWD也存在由于纳入限制较少、纳入人群的异质

性较大、造成潜在偏倚和混杂。尤其是就诊人员的多样性导致真实世界数据不平衡（又可称为样本比例失衡或类别不平衡），例如：正负样本的比例悬殊。如果简单的基于真实世界数据进行机器学习，训练出来的预测模型会倾向多数类，导致对少数类的识别率偏低。从而无法实现对少数类的准确识别。目前对真实世界数据不平衡问题尚无通用的解决办法，通常解决思路为尝试性的从数据和算法两个层面逐步改进寻求相对效果较好的方法。

发明内容

基于此，有必要针对上述技术问题，提供一种面向真实世界数据的机器学习系统与方法，实现对真实世界数据的机器学习具有可行的预测能力。

第一方面，本申请提供了一种面向真实世界数据的机器学习系统。所属系统包括数据预处理模块、随机采样模块、实验数据处理模块、数据平衡处理模块、机器学习模块和评估模块，所述模块按照实验数据、随机采样数据、平衡数据分别导入到机器学习模块并对预测结果进行评估的路径设置组成。

数据预处理模块，通过数据集成、数据治理和数据开发把真实世界数据转化为可以供机器学习算法使用的数据。

随机采样模块，按照一定的比例从经过数据预处理模块处理后的数据中抽取样本，从而在保持真实世界数据分布特征的前提下降低样本量。

实验数据处理模块，采用干预的方式纳入预设规则的各种类别的样本。

数据平衡处理模块，通过欠采样、过采样或者欠采样与过采样相结合的方式对样本失衡的数据进行平衡。

数据拆分模块，按照一定的比例把数据拆分为训练数据和测试数据。

机器学习模块，通过各种机器学习算法使用训练数据训练预测模型，通过预测模型对测试数据进行预测。

评估模块，评估预测模型的预测结果。

第二方面，本申请提供了一种面向真实世界数据的机器学习方法。所述方法包括：

获取真实世界数据，并对真实世界数据面向机器学习算法要求进行数据预处理；

按照一定比例对预处理后的真实世界数据做随机采样，获得随机采样数据；

采用干预的方式从预处理后的真实世界数据中纳入预设规则的各种类别样本，获得实验数据；

对随机采样数据的3个副本分别使用欠采样、过采样和欠采样与过采样相结合的方式获得欠采样平衡数据、过采样平衡数据和欠采样与过采样相结合平衡数据；

实验数据拆分为实验训练数据和实验测试数据；

随机采样数据的一个副本拆分为随机采样训练数据和随机采样测试数据;

欠采样平衡数据拆分为欠采样平衡数据训练数据和欠采样平衡数据测试数据;