[发明专利]射电天文数据多点同步复制方法、装置、服务器及存储介质

说明书

本发明公开了一种射电天文数据多点同步复制方法、装置、服务器及存储介质，所述方法包括：通过接收机采集射电天文数据，填充到缓冲区，在接近缓冲区大小的第一预设百分比后，将数据发送到存储客户端上；在数据发送过程中，根据需要同步复制的存储点启动对应的多任务同步复制模块；在采集服务器和存储客户端之间进行内存地址空间映射；当每个任务的数据复制完成后，通过一致性保障模块通知每个任务，以使每个任务对照时间同步窗口；计算每个任务的复制数据完成时间，判断该任务同步复制是否成功；计算同步复制成功的任务数量，判断多点同步复制任务是否成功。本发明可以解决射电天文数据从采集服务器高速同步复制到多点存储客户端的实时复制问题。

技术领域

本发明涉及一种射电天文数据多点同步复制方法、装置、服务器及存储介质，属于天文技术和计算机应用技术领域。

背景技术

射电天文是天文学的一个重要研究领域，上世纪30年代以来，脉冲星、宇宙微波背景、脉冲双星、宇宙微波背景辐射的黑体谱特性以及非各项同性、射电干涉成像等诺贝尔物理学奖都与射电天文密切相关。以SKA为代表的下一代射电望远镜，具有极高的灵敏度(比JVLA灵敏度提高50倍,搜寻速度提高10000倍)，以千公里的基线获得极高的空间分辨率，以纳秒级的采样获得精细的时间结构，以10Pb/s的速率产生超越全球互联网总量的数据。以宽视场、多波束、高动态、高分辨和大数据为核心概念的SKA将颠覆射电天文学的传统研究手段，给天文学研究带来革命性全新的理念，也给海量天文射电望远镜数据的存储带来了极大的挑战，其中从观测端到数据存储端多点数据复制带来的巨大的难题。

射电天文观测数据的同步复制需求在于一份采集数据需要同时在数据归档服务器和实时计算服务器上进行保存，这种同步复制能够节省大量的时间成本，实现现场数据处理成为可能。这其中如何保证可靠的海量射电天文观测数据在不同存储端高速同步复制是各大射电望远镜面临的问题和迫切需求。

目前该领域的同步复制软件和系统依赖传统的TCP/IP传输方式，或者使用拷贝，远程数据传输。而依靠传统的这些技术和方案并不能实现实时的数据同步复制。随着数据量的增长，同步复制的延迟越来越高，满足不了实时大数据的快速同步复制需要。

发明内容

有鉴于此，本发明提供了一种射电天文数据多点同步复制方法、装置、服务器及存储介质，其可以解决射电天文数据从采集服务器高速同步复制到多点存储客户端的实时复制问题。

本发明的第一个目的在于提供一种射电天文数据多点同步复制方法。

本发明的第二个目的在于提供一种射电天文数据多点同步复制装置。

本发明的第三个目的在于提供一种射电天文数据多点同步复制系统。

本发明的第四个目的在于提供一种采集服务器。

本发明的第五个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种射电天文数据多点同步复制方法，所述方法包括：

通过接收机采集射电天文数据，根据配置要求填充到内存或非易失性内存的缓冲区；

当数据量大小接近缓冲区大小的第一预设百分比后，将数据发送到存储客户端上；

在数据发送过程中，根据需要同步复制的存储点启动对应的多任务同步复制模块；其中，每个任务负责一个存储客户端的数据同步；

通过多任务同步复制模块调用高速数据传输系统，在采集服务器和存储客户端之间进行内存地址空间映射；

当每个任务的数据复制完成后，通过一致性保障模块通知每个任务，以使每个任务对照时间同步窗口；

计算每个任务的复制数据完成时间，判断该任务同步复制是否成功；