[发明专利]一种面向真实世界数据的机器学习系统与方法在审
申请号: | 202210424439.1 | 申请日: | 2022-04-22 |
公开(公告)号: | CN114818906A | 公开(公告)日: | 2022-07-29 |
发明(设计)人: | 王莹 | 申请(专利权)人: | 深圳市第二人民医院(深圳市转化医学研究院) |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N20/00 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518035 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 真实 世界 数据 机器 学习 系统 方法 | ||
1.一种面向真实世界数据的机器学习系统与方法,其特征在于,所述系统包括:
数据预处理模块,通过数据集成、数据治理和数据开发把真实世界数据转化为可以供机器学习算法使用的数据;
随机采样模块,按照一定的比例从经过数据预处理模块处理后的数据中抽取样本;
实验数据处理模块,采用干预的方式纳入预设规则的各种类别的样本;
数据平衡处理模块,通过欠采样、过采样或者两者相结合的方式把样本类别不平衡的数据实现平衡;
数据拆分模块,按照预设的比例把数据拆分为训练数据和测试数据;
机器学习模块,基于训练数据通过机器学习算法训练生成预测模型,并通过预测模型对测试数据进行预测;
评估模块,评估预测模型的预测结果。
2.一种面向真实世界数据的机器学习方法,其特征在于,所述方法包括:
获取真实世界数据,并对真实世界数据面向机器学习算法要求做数据预处理;
按照一定比例对预处理后的真实世界数据做随机采样,获得随机采样数据;
采用干预的方式从预处理后的真实世界数据中纳入样本类别,获得实验数据;
对随机采样数据的副本分别使用欠采样、过采样和两者相结合的方式获得欠采样平衡数据、过采样平衡数据和欠采样与过采样相结合平衡数据;
数据拆分为训练数据和测试数据,使用多种机器学习算法依次计算训练数据生成相应的预测模型,分别使用预测模型对测试数据进行预测,并评估预测水平和对比预测结果;
根据所述对比结果选择预测水平最佳的机器学习算法和预测模型。
3.根据权利要求2所述的一种面向真实世界数据的机器学习方法,其特征在于,
在大数据平台或数据操作平台对多源异构的真实世界数据进行数据集成,对集成后的数据进行数据治理和数据开发,包括不限于数据结构转换、数据类型转换、数据清洗、数据缺失值填充和数据归一化等环节;真实世界数据经过预处理符合机器学习算法的要求。
4.根据权利要求2所述的一种面向真实世界的机器学习方法,其特征在于,
按照实验要求获得实验数据;
按照一定的比例获得随机采样数据;
随机采样数据的3个副本分别使用欠采样、过采样和欠采样与过采样相结合的方式获得欠采样平衡数据、过采样平衡数据和欠采样与过采样相结合平衡数据。
5.根据权利要求2所述的一种面向真实世界数据的机器学习方法,其特征在于,
实验数据拆分为实验训练数据和实验测试数据;
随机采样数据的一个副本拆分为随机采样训练数据和随机采样测试数据;
欠采样平衡数据拆分为欠采样平衡数据训练数据和欠采样平衡数据测试数据;
过采样平衡数据拆分为过采样平衡数据训练数据和过采样平衡数据测试数据;
欠采样与过采样结合平衡数据拆分为欠采样与过采样相结合平衡数据训练数据和欠采样与过采样相结合平衡数据测试数据。
6.根据权利要求2所述的一种面向真实世界数据的机器学习方法,其特征在于,
实验训练数据、欠采样平衡数据训练数据、过采样平衡数据训练数据、欠采样与过采样相结合平衡数据训练数据和随机采样训练数据依次导入机器学习训练模块生成对应的预测模型,分别使用各个预测模型对实验测试数据、欠采样平衡数据测试数据、过采样平衡数据测试数据、欠采样与过采样相结合平衡数据测试和随机采样测试数据进行预测,并评估预测结果。
7.根据权利要求5所述的一种面向真实世界数据的机器学习方法,其特征在于,
更换机器学习算法,重新进行机器学习训练、预测与评估;经过对比评估结果,选择最佳的机器学习算法、训练数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市第二人民医院(深圳市转化医学研究院),未经深圳市第二人民医院(深圳市转化医学研究院)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210424439.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置