[发明专利]基于敏感数据的大数据处理方法、装置、设备和存储介质有效
申请号: | 201910876650.5 | 申请日: | 2019-09-17 |
公开(公告)号: | CN110674373B | 公开(公告)日: | 2020-08-07 |
发明(设计)人: | 张少典;马汉东 | 申请(专利权)人: | 上海森亿医疗科技有限公司 |
主分类号: | G06F16/9035 | 分类号: | G06F16/9035 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 倪静 |
地址: | 201213 上海市浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 敏感数据 数据处理 方法 装置 设备 存储 介质 | ||
1.一种基于敏感数据的大数据处理方法,其特征在于,所述方法包括:
S1:依据预设条件确立样本数量,并依据所述样本数量确立状态函数;其中,所述状态函数是根据所述样本数量建立的筛选流程;所述状态函数为基于多个状态属性而构建的表征数据系统发生改变的函数;
S2:根据所述状态函数筛选种子数,将满足筛选条件的所述种子数加入参数集合;其中,包括:
调取原始数据集合;
随机抽取一个样本作为所述种子数,带入所述状态函数进行计算;
判断是否满足所述筛选条件中对应多种参数要求的评价指标;若满足,进行下一步骤,反之,跳转至上一步骤;
计算所述状态函数是否满足要求,若满足,进行下一步骤,反之,跳转至最后一步骤;
将满足要求的所述种子数加入所述参数集合;
拆解所述状态函数以分析不满足要求条件,将最优样本加入所述参数集合;
S3:判断参数集合是否满足所述样本数量,若满足则输出参数集合,反之,则跳转至上一步骤S2。
2.根据权利要求1所述的方法,其特征在于,所述原始数据集合为去除敏感数据的大数据集合;所述参数集合为样本数据集合。
3.根据权利要求1所述的方法,其特征在于,所述筛选条件是根据所述原始数据集合中的具体参数类别建立的。
4.根据权利要求1所述的方法,其特征在于,所述状态函数通过动态规划 算法进行拆解。
5.根据权利要求1所述的方法,其特征在于,所述拆解所述状态函数以分析不满足要求条件,将最优样本加入所述参数集合,包括:
随机调取不满足所述筛选条件的样本;
将不满足所述筛选条件的大问题拆分成若干小问题的合集;
按照步骤从小问题的最后一步进行倒推,依据所述状态函数找出不满足条件的原因,并根据原因分析所述状态函数对应的所述筛选条件中不完善条件,重复上述步骤得到若干个不满足样本;
根据筛选条件选出不满足样本中能够优化状态函数的最优解作为最优样本;
输出所述最优样本以加入所述参数集合。
6.根据权利要求5所述的方法,其特征在于,所述状态函数是根据所述样本数量建立的筛选流程,能根据所述不满足样本进行实时调整。
7.一种大数据处理装置,其特征在于,所述装置包括:
确立模块,用于依据预设条件确立样本数量,并依据所述样本数量确立状态函数;其中,所述状态函数是根据所述样本数量建立的筛选流程;所述状态函数为基于多个状态属性而构建的表征数据系统发生改变的函数;
处理模块,用于根据所述状态函数筛选种子数,将满足筛选条件的所述种子数加入参数集合;其中,包括:调取原始数据集合;随机抽取一个样本作为所述种子数,带入所述状态函数进行计算;判断是否满足所述筛选条件中对应多种参数要求的评价指标;若满足,进行下一步骤,反之,跳转至上一步骤;计算所述状态函数是否满足要求,若满足,进行下一步骤,反之,跳转至最后一步骤;将满足要求的所述种子数加入所述参数集合;拆解所述状态函数以分析不满足要求条件,将最优样本加入所述参数集合;判断参数集合是否满足所述样本数量,若满足则输出参数集合,反之,则跳转至上一步骤。
8.一种计算机设备,其特征在于,所述设备包括:存储器、及处理器;所述存储器用于存储计算机指令;所述处理器运行计算机指令实现如权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质,其特征在于,存储有计算机指令,所述计算机指令被运行时执行如权利要求1至6中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海森亿医疗科技有限公司,未经上海森亿医疗科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910876650.5/1.html,转载请声明来源钻瓜专利网。