[发明专利]海量数据管理方法和设备在审
申请号: | 201310539175.5 | 申请日: | 2013-11-05 |
公开(公告)号: | CN104615599A | 公开(公告)日: | 2015-05-13 |
发明(设计)人: | 温洁;成艳;史志敏 | 申请(专利权)人: | 中国空间技术研究院 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100094 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量 数据管理 方法 设备 | ||
1.一种海量数据管理方法,用于基于哈希表算法,对海量的卫星测试数据进行综合管理,其特征在于,包括以下步骤:
步骤一,在数据存储软件启动之后,开启监听端口来监听是否接收到所述卫星测试数据;
步骤二,在内存中设定一个数据缓存区,作为所述卫星测试数据的临时存储区;以及
步骤三,在所述数据存储区中,以时间为关键字,按照所述哈希表算法,建立对应于所述卫星测试数据中的每种数据类型的哈希表。
2.根据权利要求1所述的海量数据管理方法,其特征在于,所述卫星测试数据作为在卫星综合测试系统的运行过程中的各种数据,并且所述卫星测试数据的数据类型至少包括:遥测参数值、遥测原始帧、设备采集数据和测试信息。
3.根据权利要求1所述的海量数据管理方法,其特征在于,在接收到所述卫星测试数据后,还包括:
判断所述卫星测试数据的数据类型;以及
确定在对应所述数据类型的哈希表中是否已经存储了关于所述数据类型的时间。
4.根据权利要求3所述的海量数据管理方法,其特征在于,
如果所述哈希表中没有存储关于所述数据类型的时间,则将所述卫星测试数据存储到所述哈希表中,然后存储到作为数据最后归档地的综合测试数据库中,以及
如果所述哈希表中已经存储关于所述数据类型的时间,则将与所述时间的时间键对应的值累加一,并将所述卫星测试数据存储到作为数据最后归档地的综合测试数据库中。
5.根据权利要求1所述的海量数据管理方法,其特征在于,还包括:
所述哈希表算法在将所述卫星测试数据存储到所述哈希表的同时,判断所述哈希表中存储所述卫星测试数据的时间跨度;以及
如果所述时间跨度大于第一预置时间,则卫星综合测试系统将清除在所述哈希表中第二预置时间内的数据,从而使所述哈希表在一个可控范围内增长。
6.根据权利要求5所述的海量数据管理方法,其特征在于,所述第一预置时间大于所述第二预置时间,并且所述第一预置时间为2小时以及所述第二预置时间为1.5小时。
7.根据权利要求1所述的海量数据管理方法,其特征在于,还包括;
通过所述数据存储软件的测试数据管理服务模块,根据所接收的卫星测试数据,动态地更新所述哈希表中关于所述卫星测试数据的数据信息。
8.根据权利要求1所述的海量数据管理方法,其特征在于,还包括:
通过所述数据存储软件的测试数据存储服务模块,根据所接收的数据信息,存储与所述数据信息对应的卫星测试数据。
9.一种海量数据管理设备,用于基于哈希表算法,对海量的卫星测试数据进行综合管理,其特征在于,包括:
端口开启模块,用于在数据存储软件启动之后,开启监听端口来监听是否接收到所述卫星测试数据;
缓存区设置模块,用于在内存中设定一个数据缓存区作为所述卫星测试数据的临时存储区;以及
哈希表建立模块,用于在所述数据存储区中,以时间为关键字、按照所述哈希表算法建立对应于所述卫星测试数据中的每种数据类型的哈希表。
10.根据权利要求9所述的海量数据管理设备,其特征在于,还包括:
测试数据管理服务模块,用于根据所接收的卫星测试数据,动态地更新所述哈希表中关于所述卫星测试数据的数据信息;以及
测试数据存储服务模块,用于根据所接收的数据信息,存储与所述数据信息对应的卫星测试数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国空间技术研究院,未经中国空间技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310539175.5/1.html,转载请声明来源钻瓜专利网。