[发明专利]高性能计算历史作业数据的数据处理方法、装置及存储系统在审
| 申请号： | 201810344551.8 | 申请日： | 2018-04-17 |
| 公开（公告）号： | CN108595578A | 公开（公告）日： | 2018-09-28 |
| 发明（设计）人： | 苗海锋;张晋锋;解文龙;毕研儒 | 申请（专利权）人： | 曙光信息产业（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京兰亭信通知识产权代理有限公司 11667 | 代理人： | 赵永刚 |
| 地址： | 100193 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 高性能计算 作业数据 存储系统 热点数据 数据处理 分布式计算 多维度 数据库 查询 输出 | ||
1.一种高性能计算历史作业数据的数据处理方法，其特征在于，包括：
从HBase数据库获取高性能计算历史作业数据；
对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据；
将所述高性能计算历史作业热点数据输出到MySQL数据库。
2.根据权利要求1所述的方法，其特征在于，所述对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据包括：
对所述高性能计算历史作业数据进行数据组装；
对组装后的高性能计算历史作业数据进行分析过滤，筛选出符合预设条件的热点数据；
将所述热点数据封装成关系型结构的数据，得到高性能计算历史作业热点数据。
3.根据权利要求2所述的方法，其特征在于，所述热点数据的筛选使用作业时间作为筛选条件。
4.根据权利要求2所述的方法，其特征在于，所述高性能计算历史作业热点数据包括下述字段：记账时间、作业id、作业名称、作业用户名、用户组、队列、wallTime时间、入队时间、开始时间、作业所属用户、完成时间、等待时间、CPU时间、作业异常退出码、响应时间、处理器核数、运行时间以及集群id。
5.一种高性能计算历史作业数据的数据处理装置，其特征在于，包括：
获取模块，用于从HBase数据库获取高性能计算历史作业数据；
计算模块，用于对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据；
输出模块，用于将所述高性能计算历史作业热点数据输出到MySQL数据库。
6.根据权利要求5所述的装置，其特征在于，所述计算模块包括：
数据组装单元，用于对所述高性能计算历史作业数据进行数据组装；
分析过滤单元，用于对组装后的高性能计算历史作业数据进行分析过滤，筛选出符合预设条件的热点数据；
封装单元，用于将所述热点数据封装成关系型结构的数据，得到高性能计算历史作业热点数据。
7.根据权利要求6所述的装置，其特征在于，所述分析过滤单元使用作业时间作为筛选条件，筛选出符合预设条件的热点数据。
8.根据权利要求6所述的装置，其特征在于，所述封装单元得到的高性能计算历史作业热点数据包括下述字段：记账时间、作业id、作业名称、作业用户名、用户组、队列、wallTime时间、入队时间、开始时间、作业所属用户、完成时间、等待时间、CPU时间、作业异常退出码、响应时间、处理器核数、运行时间以及集群id。
9.一种高性能计算历史作业数据的存储系统，其特征在于，包括HBase数据库、MySQL数据库以及如权利要求5至8中任一项所述的高性能计算历史作业数据的数据处理装置，其中，
所述HBase数据库，用于存储高性能计算历史作业数据；
所述MySQL数据库，用于存储所述高性能计算历史作业数据的数据处理装置输出的高性能计算历史作业热点数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于曙光信息产业（北京）有限公司，未经曙光信息产业（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810344551.8/1.html，转载请声明来源钻瓜专利网。
