[发明专利]数据处理方法及相关产品在审
| 申请号: | 202210025739.2 | 申请日: | 2022-01-11 |
| 公开(公告)号: | CN114385613A | 公开(公告)日: | 2022-04-22 |
| 发明(设计)人: | 翁浩敬 | 申请(专利权)人: | 深圳思为科技有限公司 |
| 主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/25;G06K9/62 |
| 代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 邱群 |
| 地址: | 518000 广东省深圳市南山区粤海*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 相关 产品 | ||
1.一种数据处理方法,其特征在于,应用于数据处理系统,所述数据处理系统包括外部系统、适配中心和内部系统,包括:
响应于来自于外部系统的数据处理请求,通过适配中心从所述内部系统中同步满足预设规范的数据源,所述数据源用于所述适配中心确定所述数据处理请求对应的业务场景;
根据所述业务场景对所述数据源进行数据清洗,得到目标数据源,将所述目标数据源发送于所述外部系统。
2.根据权利要求1所述的方法,其特征在于,在所述通过适配中心从所述内部系统中同步满足预设规范的数据源之前,所述方法还包括:
确定所述数据处理请求对应的数据接口;
确定所述数据接口的目标接口类型;
根据预设的接口类型与数据同步方式之间的映射关系,确定所述目标接口类型对应的目标数据同步方式;
根据所述目标数据同步方式,执行所述通过所述适配中心从所述内部系统中同步满足预设规范的数据源的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述通过适配中心从所述云系统中同步满足预设规范的数据源,包括:
确定所述外部系统的所述数据处理请求中携带的数据字段;
确定所述数据字段对应的数据格式;
通过所述适配中心从所述云系统中获取与所述数据格式对应的预设数据内容;
根据所述预设数据内容构造得到第一字典空间;
对所述第一字典空间进行处理,得到多个子第一字典空间,所述多个子第一字典空间对应的数据源即为所述满足预设规范的数据源。
4.根据权利要求3所述的方法,其特征在于,所述根据所述业务场景对所述数据源进行数据清洗,得到目标数据源,包括:
根据所述数据字段,构造第二字典空间;
计算所述第二字典空间与所述多个子第一字典空间中每一子第一字典空间之间的距离,得到多个空间距离;
从所述多个空间距离中选取大于或等于预设距离的多个目标空间距离;
确定每一所述目标空间距离对应的目标子第一字典空间,得到多个目标子第一字典空间;
根据所述业务场景和所述多个目标子第一字典空间,确定所述目标数据源。
5.根据权利要求4所述的方法,其特征在于,所述根据所述业务场景和所述多个目标子第一字典空间,确定所述目标数据源,包括:
确定所述业务场景对应的第一隐私系数;
确定所述多个目标子第一字典空间对应的待清洗数据源;
根据预设的外部系统与隐私系数之间的映射关系,确定所述外部系统对应的第二隐私系数;
通过所述第二隐私系数对所述第一隐私系数进行优化,得到目标隐私系数;
从所述待清洗数据源中确定与所述业务场景相关的多组数据;
根据所述多组数据,生成每一组数据对应的数据矩阵;
根据所述目标隐私系数生成隐私矩阵;
根据所述隐私矩阵对所述每一数据矩阵进行数据清洗,得到每一组数据对应的目标数据,所述多个目标数据组成所述目标数据源。
6.根据权利要求2所述的方法,其特征在于,所述目标数据同步方式包括以下任一种:接口同步、定时任务同步和消息队列同步。
7.一种数据处理装置,其特征在于,应用于数据处理系统,所述数据处理系统包括外部系统、适配中心和内部系统,所述装置包括:同步单元和数据清洗单元,其中,
所述同步单元,用于响应于来自于外部系统的数据处理请求,通过适配中心从所述内部系统中同步满足预设规范的数据源,所述数据源用于所述适配中心确定所述数据处理请求对应的业务场景;
所述数据清洗单元,用于根据所述业务场景对所述数据源进行数据清洗,得到目标数据源,将所述目标数据源发送于所述外部系统。
8.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳思为科技有限公司,未经深圳思为科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210025739.2/1.html,转载请声明来源钻瓜专利网。





