[发明专利]一种异构服务系统的融合管理系统及方法

说明书

本发明涉及数据处理技术领域，具体在于提供一种异构服务系统的融合管理系统及方法，以提高数据存储的安全性及降低负载数据迁移量，降低系统开销。本发明一种异构服务系统的融合管理方法，包括采集多源数据，对多源数据进行预处理，所述预处理包括数据清洗转换，还包括对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，将索引数据进行切分，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储，根据同一空载节点存储的数据生成两个副本数据，判断某个空载节点是否存储有切分后的数据，若否，则将生成的副本数据存储至该空载节点中。

技术领域

本发明涉及数据处理技术领域，具体为一种异构服务系统的融合管理系统及方法。

背景技术

对于绝大多数企业而言，在企业的内部管理和业务管理中，采用的系统通常包括自研系统和采购系统，而自研系统和采购系统通常由于采用的技术不同，属于异构系统，因此如何统一的管理好各个异构系统就成为十分迫切需要解决的问题，这就涉及到异构系统的融合问题，而在异构系统的融合中，多源数据的融合是首要问题。

现有技术中，对于多源数据的融合包括多源数据的采集，数据的预处理，数据的处理与存储，其中，为了保证数据的安全性，将索引数据进行切分后，采用分布式存储方式，即将切分后的索引数据分布到不同的存储节点，并且将同一存储节点的数据以两个副本的形式保存到不同的节点上，存在的问题是若副本数据存储的节点与切分的其他数据存储在相同的节点上，则会导致数据存储的安全性降低；另外，数据都是随机存储之后对各个存储节点进行负载判断的，然后对空载节点和超载节点进行负载数据迁移，导致产生很多不必要的系统开销。

发明内容

本发明目的之一在于提供一种异构服务系统的融合管理方法，以提高数据存储的安全性及降低负载数据迁移量，降低系统开销。

一种异构服务系统的融合管理方法，包括采集多源数据，对多源数据进行预处理，所述预处理包括数据清洗转换，还包括对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，将索引数据进行切分，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储，根据同一空载节点存储的数据生成两个副本数据，判断某个空载节点是否存储有切分后的数据，若否，则将生成的副本数据存储至该空载节点中。

本发明方法的有益效果在于：在数据存储前，对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，然后根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储，可有效避免数据存储到满负载节点或者超负载节点，而带来的后续需要对各个节点之间进行大量的数据迁移的问题，降低系统开销，同时由于数据在后续无需再进行二次迁移，或者二次迁移的数量很小，在这个层面也提高了数据的安全性，另外，在存储副本数据前，判断某个空载节点是否存储有切分后的数据，如果没有存储，才将生成的副本数据存储至该空载节点中，避免副本数据与切分后的其他数据存储到同一节点上，从而使数据存在安全隐患(之所以采用分布式存储，就是为了提高数据安全)，进一步提高数据存储的安全性。

进一步，切分后的数据根据存储负载程度随机分布到不同的空载节点进行存储。采用随机的分布方式，而不是根据存储负载程度顺序存储，有效提高数据存储的安全性。

进一步，还包括在将切分后的数据分布到不同的空载节点进行存储后，对已存储有切分后的数据的空载节点再次进行存储负载判断，若计算出某一空载节点已满载，则将该空载节点标记为满载节点。

某一个空载节点在存储了本次切分的数据之后，并不能保证该节点还是空载节点，若该空载节点已经满载，则需要对其进行标记，标记为满载节点，这样在下次存储数据时，就不对该满载节点再进行数据存储，尽量避免超负载节点的产生，降低迁移数据量。

进一步，还包括计算每一个空载节点可存储的数据量，并将切分后各个数据的数据量与各个空载节点可存储的数据量进行匹配，将切分后的数据存储到匹配度高的空载节点中。