[发明专利]核电站海量数据处理方法、装置及系统在审
申请号: | 201410313066.6 | 申请日: | 2014-07-02 |
公开(公告)号: | CN104090948A | 公开(公告)日: | 2014-10-08 |
发明(设计)人: | 王云福;张洁;魏欣南 | 申请(专利权)人: | 中广核工程有限公司;中国广核集团有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06Q50/06 |
代理公司: | 广州三环专利代理有限公司 44202 | 代理人: | 王基才;王冬华 |
地址: | 518023 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 核电站 海量 数据处理 方法 装置 系统 | ||
1.一种核电站海量数据处理方法,其特征在于,所述方法包括:
建立源数据表的影子表,在所述影子表上增加哈希hash值字段;
根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表;
将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
2.如权利要求1所述的方法,其特征在于,所述hash值字段根据监控的变更数据字段进行初始化计算所得。
3.如权利要求2所述的方法,其特征在于,所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
根据数据接收方的请求创建变更xml格式数据文件。
5.如权利要求3所述的方法,其特征在于,所述方法还包括:
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
6.如权利要求5所述的方法,其特征在于,所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新,包括:
将源数据表中主关键字与影子表中主关键字进行比较,筛选得到新增数据项和/或删除数据项。
7.如权利要求5所述的方法,其特征在于,所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新,还包括:
若影子表中数据项hash值与源数据表中数据项hash值不一致,则源数据表中的数据项有修改。
8.如权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述筛选得到的新增数据项和/或删除数据项,在所述影子表中执行相应的新增和/或删除数据项的操作。
9.如权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
10.如权利要求5-9所述的任一方法,其特征在于,所述方法还包括:
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中,得到更新后的xml格式的变更过程数据文件。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
12.一种核电站海量数据处理方法,其特征在于,所述方法包括:
定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件,所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的;
将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息;
将所述数据项信息写入目标数据库。
13.如权利要求12所述的方法,其特征在于,所述hash值字段根据监控的变更数据字段进行初始化计算所得。
14.如权利要求13所述的方法,其特征在于,所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
15.如权利要求14所述的方法,其特征在于,所述方法还包括:
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
16.如权利要求15所述的方法,其特征在于,所述方法还包括:
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中,得到更新后的xml格式的变更过程数据文件。
17.如权利要求16所述的方法,其特征在于,所述方法还包括:
向数据发送方发送请求,以使数据发送方根据所述请求创建变更xml格式数据文件。
18.如权利要求17所述的方法,其特征在于,所述方法还包括:
根据所述变更xml格式数据文件修改目标数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中广核工程有限公司;中国广核集团有限公司,未经中广核工程有限公司;中国广核集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410313066.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种异常数据的处理方法
- 下一篇:应用安装包中添加信息的方法及装置