[发明专利]数据处理方法、装置及系统在审
申请号: | 202110370682.5 | 申请日: | 2021-04-07 |
公开(公告)号: | CN113094343A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 邓华丰;廖宸;阮文浩;郭润文 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/178;G06F16/182;G06F16/22;G06F16/242;G06F16/27 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 任默闻;王涛 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
响应于源数据表结构更新,根据预定的表结构字段信息获取存储在数据库中的源数据;
根据预定的单个文件大小,将获取的源数据生成至少一个二进制文件;
根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件;
在执行数据纳管操作之前,根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。
2.根据权利要求1所述的方法,其特征在于,将获取的源数据生成至少一个二进制文件之后,所述方法还包括:
将所述至少一个二进制文件通过文件传输协议传输至所述数据纳管系统。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
预先生成数据索引信息,所述数据索引信息包括:表结构字段信息;
根据所述数据索引信息对所述数据库执行查询操作。
4.根据权利要求1所述的方法,其特征在于,将获取的源数据生成至少一个二进制文件之后,所述方法还包括:
根据所述至少一个二进制文件的文件大小生成该至少一个二进制文件的校验文件。
5.根据权利要求1所述的方法,其特征在于,根据预定的单个文件大小,将获取的源数据生成至少一个二进制文件包括:
根据预定的单个文件大小,将获取的源数据按照预定序号依次生成多个二进制文件。
6.根据权利要求1所述的方法,其特征在于,根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置之后,所述方法还包括:
根据所述拼接文件更新所述数据映射信息。
7.一种数据处理装置,其特征在于,所述装置包括:
源数据获取单元,用于响应于源数据表结构更新,根据预定的表结构字段信息获取存储在数据库中的源数据;
二进制文件生成单元,用于根据预定的单个文件大小,将获取的源数据生成至少一个二进制文件;
拼接文件生成单元,用于根据所述至少一个二进制文件、二进制文件的文件名、表结构字段信息生成拼接文件;
拼接文件传输单元,用于在执行数据纳管操作之前,根据预定的数据映射信息将所述拼接文件传输至数据纳管系统中的预定位置。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
二进制文件传输单元,用于将所述至少一个二进制文件通过文件传输协议传输至所述数据纳管系统。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
索引信息生成单元,用于预先生成数据索引信息,所述数据索引信息包括:表结构字段信息;
查询单元,用于根据所述数据索引信息对所述数据库执行查询操作。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
校验文件生成单元,用于根据所述至少一个二进制文件的文件大小生成该至少一个二进制文件的校验文件。
11.根据权利要求7所述的装置,其特征在于,所述二进制文件生成单元具体用于:
根据预定的单个文件大小,将获取的源数据按照预定序号依次生成多个二进制文件。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
映射信息更新单元,用于根据所述拼接文件更新所述数据映射信息。
13.一种数据处理系统,其特征在于,所述系统包括:如权利要求7至12中任一项所述的数据处理装置、数据库和数据纳管系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110370682.5/1.html,转载请声明来源钻瓜专利网。