[发明专利]卫星数据的处理方法、装置、电子设备及存储介质

说明书

本申请提供一种卫星数据的处理方法、装置、电子设备及存储介质，方法包括：获取待存储的卫星数据；根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；对哈希值进行取模运算，得到哈希值的取模结果；根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。本申请能够提高卫星数据处理系统的稳定性和可靠性，以及提高卫星数据的节点流转效率。将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种卫星数据的处理方法、装置、电子设备及存储介质。

背景技术

随着微小卫星的商业化发展不断加深，市场对卫星数据可视化展示的数据快速存储和检索查询提出更高的要求。卫星数据采集时是以秒位单位的高频次传输方式，对于设备采集到的卫星数据，也需要以高频次的数据存储方式进行存储。

在相关技术中，目前的卫星数据存储系统一般采用的关系型数据库，一方面，关系型数据库对于数据存储和数据查询存在瓶颈问题；另一方面，高频次的巨大数据量，使得存储系统的读写性能越来越难以满足存储需求，导致数据丢失问题越来越突出。可见，当前卫星数据的处理方式存在效率及可靠性低的问题。

发明内容

本申请实施例的目的在于提供一种卫星数据的处理方法、装置、电子设备及存储介质，旨在解决当前卫星数据的处理方式存在效率及可靠性低的问题。

第一方面，本申请实施例提供了一种卫星数据的处理方法，应用于集群的服务节点，集群包括服务节点和多个数据分片节点，每个数据分片节点包括主数据节点和多个从数据节点，服务节点与主数据节点和从数据节点通信连接，方法包括：

获取待存储的卫星数据；

根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值；

对哈希值进行取模运算，得到哈希值的取模结果；

根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点；

将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点。

在本实施例中，通过将卫星数据处理系统集群化，配置服务节点和多个数据分片节点，以防止单一服务器崩溃而导致系统停止服务，提高卫星数据处理系统的稳定性和可靠性，以及提高卫星数据的节点流转效率。通过预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值，以及对哈希值进行取模运算，得到哈希值的取模结果，根据取模结果与数据分片节点的预设映射关系，确定卫星数据的目标数据分片节点，实现对卫星数据进行数据分片，使得卫星数据能够存储于多个数据分片节点中，提高数据存储效率；最后将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，实现多节点存储，提高卫星数据存储效率。

进一步地，根据预设哈希函数对卫星数据进行哈希运算，得到卫星数据的哈希值，包括：

利用预设的非加密哈希函数，对卫星数据的数据标识进行哈希运算，得到卫星数据的哈希值。

在本实施例中，非加密哈希函数能够提高卫星数据的哈希运算速度，对数据标识进行哈希运算，实现卫星数据索引化，以便于在数据查询阶段利用数据标识进行数据查询，从而实现卫星数据快速定位和高效率查询。

进一步地，将卫星数据写入至目标数据分片节点中的主数据节点和从数据节点，包括：

将卫星数据写入到目标数据分片节点的同步日志文件；

基于同步日志文件，将卫星数据同步至主数据节点；

当主数据节点同步完成后，控制主数据节点将卫星数据同步至所有从数据节点。