[发明专利]一种异构数据快速分布存储、交互方法

说明书

一种异构数据快速分布存储、交互方法，将数据分散存储在多台独立的设备上，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，这不但提高了系统的可靠性、可用性和存取效率，还易于扩展；本发明采用的优化查询算法，采用了关键词计数排序策略，缩短查询时间。

技术领域

本发明涉及数据处理技术领域，具体涉及一种异构数据分布存储、实时交互处理方法。

背景技术

在企业信息化建设进程中，大量的功能性应用被集成于企业信息门户系统，需要对其进行集中统一管理，以满足共享数据应用的需求。但是，大量的功能性应用之间存在多类差异，体现在开发语言、开发平台、操作系统、数据库管理系统、网络通信协议等方面。其中，数据库差异相对突出，不同的系统数据源和应用需求导致了数据结构上的差异性，由于异构数据库在数据访问和数据共享的方式不同，无法很好的实现数据之间的实时共享，因此，如何实现异构数据分布存储、实时交互处理是目前的技术难题。

发明内容

本发明的目的就是提供一种异构数据快速分布存储、交互方法，它可以解决异构数据的分布存储和实时交互处理问题，实现数据之间的实时共享。

本发明的目的是通过这样的技术方案实现的，具体步骤如下：

1)拆分异构数据，存入数据中心缓存，并在缓存中对数据种类进行编号；

2)对缓存中的工况数据进行去冗余处理；

3)计算每种数据的量占总数据量的比重ΣP_i＝1，其中S_i为某类数据量，S为总数据量；

4)设置阈值向量P₁′,P₂′,...,P_i′，0＜P₁′＜...＜P_n′＜1，并设定n₁，n₂，...，n_k的值，其中n₁，n₂，...，n_k均为大于0的整数，其中阈值向量和n_i根据实际需要设置不同的个数和数值大小；

5)比较P_i与P₁′,P₂′,...,P_i′的大小：若P_i＜P₁′，则n₁种数据存入同一从服务器中；若P₁′＜P_i＜P₂′则n₂种数据存入同一从服务器中；依次类推，若P_i＞P_i′，则该种数据存入n_k个从服务器中；

6)根据分布式存储数据的存储地址，建立异构索引表；

7)接收用户端发送的查询请求，将检索目标内容进行关键词提取；

8)根据异构索引表逐级查询关键词所在的位置；

9)将查询后的信息分发至数据库配置信息中对应的数据存储数据库，从对应的数据存储数据库中提取所需数据；

10)将步骤9)中提取的所需数据汇总并返回给用户端。

进一步，步骤6)中所述建立异构索引表的具体步骤如下：

6-1)对新的数据集提取关键词，并进行预处理得到关键词在该数据集中的查询计数；

6-2)将关键词按查询计数从小到大排序，并形成计数表；

6-3)以计数表为基础，逐级构建索引形成索引表，每级索引表包含对应的关键词及其对应的数据对象信息；