[发明专利]海量数据管理方法和设备

说明书

技术领域

本发明涉及航天器自动化测试技术领域，更具体地，涉及一种利用哈希(HASH)算法进行海量测试数据管理、存储的方法和设备。本发明尤其适用于通信卫星、载人航天器、导航卫星、遥感卫星等航天器综合测试实施系统中海量测试数据存储管理应用领域。

背景技术

数据存储软件是卫星综合测试实施系统中的一个重要软件，测试数据管理和存储是其重要功能。目前，基于早期卫星平台开发的数据存储软件，所有测试信息以队列的形式存放在缓冲区，所有数据根据到达的先后顺序来进行数据库读写操作。数据存储软件这种测试数据管理形式是一种最简单的方法，实现了数据存储软件运行状态、测试数据管理服务、测试数据存储服务的功能。由于早期卫星平台较为简单，测试系统较为单一，测试设备数据没有进行统一管理，整星测试过程中产生的测试数据较少，这种测试数据管理形式对综合测试影响不明显。随着大容量平台、新型平台卫星的研制，地面测试设备种类趋向复杂，以及新测试系统的应用使得测试过程中需统一管理的数据大大增加，导致卫星综合测试过程中产生的数据成量级的增长，特别是测试过程中地面测试设备的数据越来越多，设备监控数据也越来越全面。另一方面，卫星测试对综合测试实施系统的响应速度要求较高，要求测试数据的精度要达到毫秒级，同时要求数据存储软件具备更快的响应速度。

由于网络延迟、队列堵塞等多种因素，会导致某些测试信息到达顺序不能严格按照时间戳的顺序，而数据库中存储的测试信息是以时间为主键，因此会导致测试信息存储不完整。因此，数据存储软件这种测试数据管理方式已不大适合有高精度要求的综合测试系统。

HASH算法被广泛的应用于计算机技术的各个方面。计算机应用中由屈志毅等编写的《一种基于信息分散算法的分布式数据存储方案》提出了分布式系统中一种数据存储方案，在数据写入过程中通过构造编码后数据分块的HASH值进行级连，以实现数据的完整性保护。井冈山师范学院学报(自然科学)中由孙凌宇等编写的《一种基于多哈希表的堆式动态存储管理方法》提出了一种基于多哈希表的堆式动态存储管理方法，其基本思想是利用哈希表的快速查找优点，通过查找以空闲块大小为关键字的哈希表实现最佳拟合法的分配策略，并通过查找以空闲块头地址及尾地址为关键字的双哈希表，最终高效率地实现堆式动态存储管理。微电子学与计算机中由赵大勇等编写的《基于改进主动哈希的URL存储和查找算法》提出了一种基于改进主动哈希的统一资源定位符(也被称为网页地址，Uniform Resource Locator，以下简称为URL)存储和查找算法。徐青持有的CN101706719A号专利公开了一种基于HASH映射的综合管网三维可视化资源管理方法。郭健持有的CN101419571号专利公开了一种基于HASH算法的在NOR FLASH中存储配置参数的方法，采用HASH链表用于表示配置参数分区数据与内存数据之间的映射关系。迈普(四川)通信技术有限公司持有的CN101350010号专利公开了一种主从式并行多核处理器系统下哈希表操作的方法，提供一种在主从式多核处理器系统中，能够高效地对HASH表进行创建、插入等操作，并使HASH表的上述操作不影响HASH表查找性能的HASH表的操作方法。

因此，急需一种方案，能够采用HASH表的形式对卫星综合测试数据进行管理，实现所有收到的测试数据HASH表的建立、检索和更新，进而实现测试数据快速精确的存储到数据库中。

发明内容

在本发明中，采用HASH表的形式对卫星综合测试数据进行管理，实现所有收到的测试数据HASH表的建立、检索和更新，进而实现测试数据快速精确的存储到数据库中，克服原有软件测试数据存储不完整的缺点。

本发明的一个方面提供了一种海量数据管理方法，包括以下步骤：在数据存储软件启动之后，开启监听端口来监听是否接收到卫星测试数据；在内存中设定一个数据缓存区，作为卫星测试数据的临时存储区；以及在数据存储区中，以时间为关键字，按照哈希表算法，建立对应于卫星测试数据中的每种数据类型的哈希表。

优选地，卫星测试数据作为在卫星综合测试系统的运行过程中的各种数据，并且卫星测试数据的数据类型至少包括：遥测参数值DATE、遥测原始帧DATF、设备采集数据DATS和测试信息MESG。

可选地，在接收到卫星测试数据后，本发明的方法还包括：判断卫星测试数据的数据类型；以及确定在对应数据类型的哈希表中是否已经存储了关于数据类型的时间。