[发明专利]一种非结构化数据存储和查询的方法、装置及系统

说明书

技术领域

本发明涉及计算机技术领域，特别是一种非结构化数据存储和查询的方法、装置及系统。

背景技术

银行实施前台业务和后台业务处理分离的工作模式，对于一项业务操作来说，前台生成此业务操作的实体业务票据以及业务元数据信息，并将实体业务票据扫描得到电子影像票据，将电子影像票据存储在磁盘中，并将业务元数据信息以及电子影像票据在磁盘中的位置信息对应存储在关系数据库。

后台在进行上述业务操作的核查的过程中，先根据业务元数据信息从关系数据库中查询电子影像票据在磁盘中的位置信息，再根据位置信息从磁盘中查询电子影像票据信息进行核查。

但是采用上述方法存储和查询业务操作的电子影像票据信息时，随着业务操作的不断增加，关系数据库中所存储的业务元数据信息与电子影像票据在磁盘中的位置信息的对应关系越来越多，导致关系数据库中的存储效率会越来越低；并且，关系数据库中的存储的数据越多，在根据位置信息从磁盘中查询电子影像票据信息的效率就越低。采用关系数据库实现业务操作的电子影像票据的存储和查询，当关系数据库中存储大量的数据信息时，会降低数据信息的存储和查询效率。

发明内容

本发明解决的技术问题在于提供一种非结构化数据存储和查询的方法、装置及系统，从而能够利用分布式系统实现对非结构化数据的存储和查询。

为此，本发明解决技术问题的技术方案是：

一种非结构化数据存储的方法，所述方法包括：

数据整合模块将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包；

所述数据整合模块将所述压缩数据包发送至分布式系统的主控机Master；

分布式系统的Master将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息。

可选的，所述数据整合模块将所述压缩数据包发送至分布式数据库的Master包括：

数据整合模块将所述压缩数据包按照分布式文件系统HDFS协议发送至分布式数据库的Master。

可选的，所述业务交易信息包括：

交易号码、文档类型以及系统编号。

一种非结构化数据查询的方法，所述方法包括：

查询模块接收用户输入的查询信息，所述查询信息包括电子影像票据ID或业务交易信息；

查询模块向分布式系统中的主控机Master发送查询请求，所述查询请求携带有所述查询信息；

所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包。

可选的，所述Master查询分布在所述Master的所有数据节点获取与所述查询信息匹配的压缩数据包包括：

所述Master向分布在所述Master的所有数据节点发送查询命令，所述查询命令携带有所述查询信息；

分布在所述Master的每个数据节点接收到所述查询命令后，查询与所述查询信息匹配的压缩数据包；

分布在所述Master的节点向所述Master返回与所述查询信息匹配的压缩数据包。

可选的，所述方法还包括：

所述Master将所述压缩数据包发送至展示模块进行展示。

可选的，所述查询模块向分布式系统中的Master发送查询请求包括：

查询模块按照分布式文件系统HDFS协议向分布式系统中的Master发送查询请求。

一种非结构化数据存储的装置，所述装置包括：

数据整合模块与分布式系统中的主控机Master相连，分布式系统中的Master与多个数据节点相连；

数据整合模块，用于将业务系统提供的业务操作的业务元数据信息和电子影像票据进行压缩处理获得压缩数据包，将所述压缩数据包发送至分布式系统的Master；

分布式系统的Master，用于将所述压缩数据包存储在分布在所述Master的任意一个数据节点中，所述压缩数据包存储的关键字包括电子影像票据ID或业务交易信息；

数据节点，用于存储所述压缩数据包。

可选的，

所述数据整合模块，用于将所述压缩数据包按照分布式文件系统HDFS协议发送至分布式数据库的Master。

一种非结构化数据查询的装置，所述装置包括：

查询模块与分布式系统中的主控机Master相连，分布式系统中的Master与多个数据节点相连；