[发明专利]一种基于通用PC机的射电天文数据处理方法

说明书

技术领域

本发明属于射电天文处理技术领域，特别涉及一种基于通用PC机射电天文数据处理方法。

背景技术

21CMA(21 Centimeter Array)是工作在70-200MHz频段的大型米波综合孔径天线阵，旨在于探测宇宙的再电离时代。21CMA由80个子天线阵组成，每个子天线阵的有效面积约为200平方米，分布在东西、南北3公里基线上，八十个阵列的接受信号经放大滤波后分别经光缆传输控制器，由80个服务器组成的计算机集群对信号进行数字采集及相关处理后产生供后续数据处理需要的数据。产生的数据保存到硬盘上进行下一步的数据处理流程.目前工作的东西40个天线阵每天产生1.2T的数据，需要进行下一步的数据处理.如果80组天线同时运行，每天有将近2.5T的数据需要进行数据处理，传统的射电天文数据处理方法是将数据放在高性能的工作站进行运算，而现在通用的HPC数据接口，比如IDE(integrated development environment)，SATA(serial advanced technology attachment)，SCSI(small computer system interface)和光纤的传输速度都是有限的。

图1示出了现有技术中SGI工作站的结构示意图。如图1所示，所述SGI工作站是一台有32颗Intel Itanium双核CPU，128GB内存和带宽为4G的光纤磁盘阵列容量为12TB。配置了双控制器4通道4GB光纤硬盘阵列，有两个盘箱构成，把每个盘箱分别作为两组RAID5，共4组RAID，两个盘箱分别通过光纤与RAID控制器相连以提高并发能力。数据通过4条4GB的光纤通道分别连接到4个PCI光纤通道卡上，每个光纤通道卡分别插在不同的PCI总线上。以现在每天1.2T的数据量，同时处理一个月的数据1.2T*30＝36TB为例，在SGI工作站需要进行4次数据导入，然后进行数据处理，最后进行结果保存。数据导入通过raid5磁盘阵列的NFS协议进行，NFS协议导入数据的速度为30MB/s，因此导入30天的数据需要3000小时，进行数据处理后保存的数据导出也需要3000小时。

随着大孔径望远镜和天线阵列的投入使用，随之而来的是海量数据的产生，每天会有上PB量级的数据，所以需要一种通用的计算机的数据处理方法来解决。

发明内容

(一)要解决的技术问题

随着海量数据的产生，传统的射电天文数据处理方法受到计算机数据传输带宽限制的影响越来越明显，导致处理方法遇到一个瓶颈期。堆积如山的数据接踵而来，如何有效快速的处理是本发明首要解决的一个问题。使用工作站来进行天文数据处理是一种传统的方法，而随着数据的不断膨胀，工作站扩展的弊端越来越明显，首先受其架构的影响，有一个扩展的极限值；其次受数据传输带宽瓶颈的影响，不能保证数据快速的传输。

(二)技术方案

本发明提供了一种基于通用PC机的射电天文数据处理方法，其中该方法由多台通用PC机执行以分别处理不同天的射电天文数据，该方法包括：

步骤1：对天线接收到的射电天文数据进行预处理；

步骤2：根据预处理后的射电天文数据统计所有基线、所有通道的标准方差值；

步骤3：根据所得到的标准方差值对两两基线每天的光程差进行校准修正；

步骤4：根据修正后的两两基线每天的光程差对每天的射电天文数据进行修正，并将多台通用PC机处理得到的修正后的射电天文数据进行叠加得到最终处理数据。

通过一种通用的计算机系统来解决不断增长的天文数据观测处理方法，首先通过分布式的通用PC机来挂载不同的数据进行数据处理，单机数据处理解决了数据传输的瓶颈，能更加高效的进行数据交换和数据处理；其次数据累加采用了基于4.5Gb的INFINIBAND技术来提高传输功能，数据双向传输速度达到900MB/s。

(三)有益效果

这种方法解决了传统天文数据处理方法不易扩展、受数据传输带宽限制，不能快速有效的进行数据交换和数据处理，此方法数据处理效率得到了很大的提高。

附图说明

图1示出了现有技术中SGI工作站的结构示意图；

图2示出了本发明中基于通用PC机的数据射电天文数据处理方法流程图；

图3示出了本发明中计算机系统配置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。