[发明专利]数据处理方法、装置、设备及存储介质有效
申请号: | 202210511669.1 | 申请日: | 2022-05-12 |
公开(公告)号: | CN114610959B | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 闫长虎;张绍震;秦元;黄智浩;严羽 | 申请(专利权)人: | 恒生电子股份有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F11/34;G06K17/00 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 曹瑞敏 |
地址: | 310053 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,应用于数据处理平台中多个执行器节点中每个执行器节点,所述数据处理平台中还具有驱动器节点,所述方法包括:
采用所述驱动器节点获取待处理字段的信息,所述待处理字段的信息包括:所述待处理字段的字段名和对应的字段值;
采用所述每个执行器节点,判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名,其中,所述每个执行器节点的数据表为将预设数据库的数据表分割为多个分区中的任一数据表;
若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名,则采用所述目标执行器节点,根据所述待处理字段的字段值,对所述目标执行器节点的数据表进行操作;
所述若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名,则采用所述目标执行器节点,根据所述待处理字段的字段值,对所述目标执行器节点的数据表进行操作,包括:
若所述目标执行器节点的数据表中包括所述待处理字段的字段名,则采用所述目标执行器节点,比对所述目标执行器节点的数据表中所述待处理字段的数量和所述待处理字段的预设数量;
若数量比对结果为相同,则采用所述目标执行器节点,根据所述待处理字段的字段值,对所述目标执行器节点的数据表进行操作。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述数量比对结果为不相同,则采用所述目标执行器节点进行报错提示。
3.根据权利要求1所述的方法,其特征在于,所述判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名之前,所述方法还包括:
采用所述驱动器节点将至少一个所述预设数据库的数据存储至所述预设数据库的数据表;
采用所述驱动器节点对所述预设数据库的数据表进行分割,得到多个分区;
采用所述驱动器节点将所述多个分区分配至所述多个执行器节点。
4.根据权利要求1所述的方法,其特征在于,所述采用所述目标执行器节点,根据所述待处理字段的字段值,对所述目标执行器节点的数据表进行操作,包括:
采用所述目标执行器节点将所述待处理字段的信息存储至缓存数据表;
若所述缓存数据表中字段满足预设数量条件,则采用所述缓存数据表中字段对应的执行器节点,根据所述缓存数据表中字段的字段值,对所述缓存数据表中字段对应的执行器节点的数据表进行批量操作,其中,所述缓存数据表中字段对应的执行器节点包括:所述目标执行器节点。
5.根据权利要求4所述的方法,其特征在于,所述采用所述缓存数据表中字段对应的执行器节点,根据所述缓存数据表中字段的字段值,对所述缓存数据表中字段对应的执行器节点的数据表进行批量操作,包括:
若所述缓存数据表的字段包括待插入字段,则采用所述待插入字段对应的执行器节点,将所述待插入字段的字段值批量插入到所述待插入字段对应的执行器节点的数据表。
6.根据权利要求4或5所述的方法,其特征在于,所述采用所述缓存数据表中字段对应的执行器节点,根据所述缓存数据表中字段的字段值,对所述缓存数据表中字段对应的执行器节点的数据表进行批量操作,包括:
若所述缓存数据表中字段包括待更新字段,则采用所述待更新字段对应的执行器节点,根据所述待更新字段的字段值批量更新所述待更新字段对应的执行器节点的数据表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于恒生电子股份有限公司,未经恒生电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210511669.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:天然植物沉降剂及应用和使用方法
- 下一篇:一种多卫星任务统筹规划方法及装置