[发明专利]一种面向真实世界数据的机器学习系统与方法

权利要求书

1.一种面向真实世界数据的机器学习系统与方法，其特征在于，所述系统包括：

数据预处理模块，通过数据集成、数据治理和数据开发把真实世界数据转化为可以供机器学习算法使用的数据；

随机采样模块，按照一定的比例从经过数据预处理模块处理后的数据中抽取样本；

实验数据处理模块，采用干预的方式纳入预设规则的各种类别的样本；

数据平衡处理模块，通过欠采样、过采样或者两者相结合的方式把样本类别不平衡的数据实现平衡；

数据拆分模块，按照预设的比例把数据拆分为训练数据和测试数据；

机器学习模块，基于训练数据通过机器学习算法训练生成预测模型，并通过预测模型对测试数据进行预测；

评估模块，评估预测模型的预测结果。

2.一种面向真实世界数据的机器学习方法，其特征在于，所述方法包括：

获取真实世界数据，并对真实世界数据面向机器学习算法要求做数据预处理；

按照一定比例对预处理后的真实世界数据做随机采样，获得随机采样数据；

采用干预的方式从预处理后的真实世界数据中纳入样本类别，获得实验数据；

对随机采样数据的副本分别使用欠采样、过采样和两者相结合的方式获得欠采样平衡数据、过采样平衡数据和欠采样与过采样相结合平衡数据；

数据拆分为训练数据和测试数据，使用多种机器学习算法依次计算训练数据生成相应的预测模型，分别使用预测模型对测试数据进行预测，并评估预测水平和对比预测结果；

根据所述对比结果选择预测水平最佳的机器学习算法和预测模型。

3.根据权利要求2所述的一种面向真实世界数据的机器学习方法，其特征在于，

在大数据平台或数据操作平台对多源异构的真实世界数据进行数据集成，对集成后的数据进行数据治理和数据开发，包括不限于数据结构转换、数据类型转换、数据清洗、数据缺失值填充和数据归一化等环节;真实世界数据经过预处理符合机器学习算法的要求。

4.根据权利要求2所述的一种面向真实世界的机器学习方法，其特征在于，

按照实验要求获得实验数据；

按照一定的比例获得随机采样数据；

随机采样数据的3个副本分别使用欠采样、过采样和欠采样与过采样相结合的方式获得欠采样平衡数据、过采样平衡数据和欠采样与过采样相结合平衡数据。

5.根据权利要求2所述的一种面向真实世界数据的机器学习方法，其特征在于，

实验数据拆分为实验训练数据和实验测试数据；

随机采样数据的一个副本拆分为随机采样训练数据和随机采样测试数据；

欠采样平衡数据拆分为欠采样平衡数据训练数据和欠采样平衡数据测试数据；

过采样平衡数据拆分为过采样平衡数据训练数据和过采样平衡数据测试数据；

欠采样与过采样结合平衡数据拆分为欠采样与过采样相结合平衡数据训练数据和欠采样与过采样相结合平衡数据测试数据。

6.根据权利要求2所述的一种面向真实世界数据的机器学习方法，其特征在于，

实验训练数据、欠采样平衡数据训练数据、过采样平衡数据训练数据、欠采样与过采样相结合平衡数据训练数据和随机采样训练数据依次导入机器学习训练模块生成对应的预测模型，分别使用各个预测模型对实验测试数据、欠采样平衡数据测试数据、过采样平衡数据测试数据、欠采样与过采样相结合平衡数据测试和随机采样测试数据进行预测，并评估预测结果。

7.根据权利要求5所述的一种面向真实世界数据的机器学习方法，其特征在于，

更换机器学习算法，重新进行机器学习训练、预测与评估；经过对比评估结果，选择最佳的机器学习算法、训练数据。