[发明专利]一种数据写入方法、数据迁移方法、装置及电子设备

说明书

本发明公开了一种数据写入方法、装置、数据迁移方法、装置、电子设备及可读存储介质，该数据写入方法包括：弹性搜索计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写入数据；其中，第一主分片为弹性搜索计算节点中的任一主分片；将索引结构数据发送到第一副本分片；其中，索引结构数据为通过解析主分片写入数据得到的；将存储数据存储到分布式文件系统中第一主分片对应的存储目录下；本发明利用副本分片使用分布式文件系统中主分片的存储目录提供查询服务，减少副本分片的分词解析过程和单独数据存储，降低了CPU资源消耗和存储成本，从而能够利用分布式文件系统提高数据均衡速度，提升ES计算节点的扩容性能。

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据写入方法、数据迁移方法、装置、电子设备及可读存储介质。

背景技术

目前开源的Elasticsearch(ES，弹性搜索)集群在海量数据存储以及高并发写入的场景下存在以下的问题：1、高水平的CPU资源消耗：为了保障集群的可靠性，ES集群存储的数据一般以双副本或三副本为主，而在ES的写入过程中，需要在主分片以及副本分片上同时解析相同的数据，造成了多倍的CPU资源消耗。2、高昂的存储成本：在海量日志的存储场景中，通常会遇到TB级甚至PB级的数据，在如此高数据量的情形下，为了避免数据丢失，保障集群的可靠性，会使用双副本甚至三副本来保障，因此产生了多倍，高昂的存储资源消耗。3、缓慢的扩缩容：当集群计算资源不足时，如果需要对ES集群扩缩容，数据将在不同的ES节点之间迁移和平衡，数据通过网络传输，而TB级数据需要小时级的时间进行再平衡。

因此，如何能够在保证ES集群的可靠性的基础上，降低CPU资源消耗和存储成本，提升ES计算节点的扩容性能，是现今急需解决问题。

发明内容

本发明的目的是提供一种数据写入方法、数据迁移方法、装置、电子设备及可读存储介质，以在保证ES集群的可靠性的基础上，降低CPU资源消耗和存储成本，提升ES计算节点的扩容性能。

为解决上述技术问题，本发明提供一种数据写入方法，包括：

弹性搜索计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写入数据；其中，所述第一主分片为所述弹性搜索计算节点中的任一主分片；

将索引结构数据发送到所述第一副本分片；其中，所述索引结构数据为通过解析所述主分片写入数据得到的，所述第一副本分片为所述第一主分片对应的副本分片；

将存储数据存储到分布式文件系统中所述第一主分片对应的存储目录下；其中，所述存储数据包括所述主分片写入数据和所述索引结构数据。

本方案中，利用副本分片使用分布式文件系统中主分片的存储目录提供查询服务，减少副本分片的分词解析过程和单独数据存储，降低了CPU资源消耗和存储成本。

可选的，该数据写入方法还包括：

所述弹性搜索计算节点中的第二副本分片根据第二主分片发送的索引结构数据，更新保存的副本索引结构数据；其中，所述第二副本分片为所述弹性搜索计算节点中的任一副本分片，所述第二主分片为所述第二副本分片对应的主分片；

利用所述副本索引结构数据，对所述分布式文件系统中所述第二主分片对应的存储目录下的主分片写入数据进行查询。

本方案中，副本分片利用相应的主分片发送的索引结构数据，更新自身存储的副本索引结构数据，从而能够利用最新的副本索引结构数据提供查询服务，保证了数据查询的准确性。

可选的，所述目标弹性搜索计算节点为所述弹性搜索计算节点时，所述弹性搜索计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写入数据之前，还包括：

所述弹性搜索计算节点接收客户端设备发送的所述主分片写入数据；