[发明专利]核电站海量数据处理方法、装置及系统

说明书

技术领域

本发明属于核电技术领域，具体涉及一种核电站海量数据处理方法、装置及系统。

背景技术

核电站设计过程中，将产生海量关系型数据，保存在大型数据库中。其中单个专项的关系型数据，其数据项就可能在数十万条以上，数据字段达到30项以上，而这些数据及其更新，需要定期传输给下游采购、施工、调试、运营等各环节利用。而参与核电各方使用的信息系统，由于建设于不同时期，且由不同部门各自进行设计，导致系统平台出现异构性；同时，因工作分工及信息安全等因素约束，不能将设计数据库开放给各方直接读取共享，所以，通过数据控制及传输机制，将同一数据对象的多个副本按需放置在不同数据库节点，并自动维护其一致性的方法，是核电站建设过程中保证数据可用性和可靠性的一项重要技术。

为解决数据一致性，常规方式是通过将远程数据库中的数据复制到本地，可使得应用系统能够就近访问数据，避免了远程读取数据，从而降低网络传输负载，提高效率；当源数据库中的数据发生更改时，通过网络传输到目标数据库。但这种方式只能用于同构数据库，同时，在网络节点和通信链路发生故障时，数据同步易出现问题，无法保障下游应用系统正确使用数据。

为此，目前提出一种基于影子表法，进行异构数据库复制。具体是数据提供方忽略变更数据捕获环节，将源数据表映射为影子表，定期同步两类表数据，数据提供方发布影子表查询接口，数据接收方通过接口查询数据，然后通过数据转换，将查询结果组织为目标数据；数据接收方定期查询影子表数据，对比其与现有目标数据的区别，进行数据修正。该方案能实现数据更新及时和准确，但过分依赖数据接收方的配置，以及外部网络环境等，不适用于大数据量或更新频繁的情况，并且，数据更新检查，对网络的要求比较高。

另一种方案是基于触发器法，进行异构数据库复制。即数据提供方在源数据库中创建增删改的操作触发器，当对复制数据项进行修改、插入和删除操作时，触发器将变化的数据序列提取出来，数据提供方将数据更新序列通过接口发布，数据接收方通过接口查询变更数据，然后通过数据转换将更新数据合并到目标数据中，而数据接收方不必考虑数据修正问题，数据接收方定期查询影子表数据，对比与目标数据的区别，实现进行数据修正。通过触发器实时捕捉数据源的变化数据，效率很高。但是使用触发器捕捉变更数据时，占用的系统资源较多，对复杂的复制任务需要非常复杂的配置和实施，管理很不方便，并且只能在有触发器机制的数据库系统中使用。

发明内容

本发明的目的在于：在核电站的海量数据处理中，提供一种可以实现准确、快捷的数据传输处理技术。

为了实现上述发明目的，本发明提供了一种核电站海量数据处理方法，所述方法包括：

建立源数据表的影子表，在所述影子表上增加hash值字段；

根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件；

将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。

作为本发明核电站海量数据处理方法的一种改进，所述hash值字段根据监控的变更数据字段进行初始化计算所得。

作为本发明核电站海量数据处理方法的一种改进，所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。

作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：

根据数据接收方的请求创建变更xml格式数据文件。

作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：

判断影子表中的数据项与源数据表中的数据项相比是否存在更新。

作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：

将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。

作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，还包括：

若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据项有修改。

作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：

根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。

作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：

根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。