[发明专利]流式海量数据的处理方法及系统在审
| 申请号： | 201810872721.X | 申请日： | 2018-08-02 |
| 公开（公告）号： | CN109086410A | 公开（公告）日： | 2018-12-25 |
| 发明（设计）人： | 张晶龙;杨友洪;王彦贺;曲世一;原林;赵锐;张雨;李娜;金津 | 申请（专利权）人： | 中国联合网络通信集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京同立钧成知识产权代理有限公司 11205 | 代理人： | 王征;刘芳 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 流式数据 消息数据 轨迹文件 海量数据 统计分析 数据处理 流式 分布式数据库 输出数据处理 数据处理结果 集中存储 快速响应 前置处理 信息系统 业务变化 预定格式 预定业务 定制化 新功能 灵活 | ||
1.一种流式海量数据的处理方法，其特征在于，包括：
从任一分布式数据库获取各流式数据的轨迹文件，并对所述轨迹文件进行前置处理，生成预定格式的消息数据，将所述消息数据集中存储；
根据预定业务需求对所述消息数据进行数据处理；
对数据处理结果进行统计分析，并输出所述数据处理结果和/或统计分析结果。
2.根据权利要求1所述的方法，其特征在于，所述输出所述数据处理结果和/或统计分析结果，具体包括：
提供与客户端连接的API接口，在接收到所述客户端发送的查询请求时通过所述API接口向所述客户端发送所述数据处理结果和/或所述统计分析结果；或者
将所述数据处理结果和/或所述统计分析结果卸载成文件或卸载到其他系统。
3.根据权利要求1所述的方法，其特征在于，所述将所述消息数据集中存储后，还包括：
对所述消息数据进行清洗和/或转换，并将清洗和/或转换后的消息数据进行存储。
4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
对所述数据处理结果和/或所述统计分析结果进行数据的Context式存储；
所述将所述消息数据集中存储，包括：
对所述消息数据集中进行数据的Context式存储。
5.根据权利要求4所述的方法，其特征在于，所述从任一分布式数据库获取各流式数据的轨迹文件后，还包括：
对获取的所述轨迹文件进行同步稽核，以保证所述轨迹文件在传输过程的可靠性。
6.一种流式海量数据的处理系统，其特征在于，包括：
采集层，用于从任一分布式数据库获取各流式数据的轨迹文件，并对所述轨迹文件进行前置处理，生成预定格式的消息数据；
镜像层，用于将所述消息数据集中存储；
计算层，用于根据预定业务需求对所述消息数据进行数据处理；
统计分析层，用于对数据处理结果进行统计分析；
结果同步层，用于输出所述数据处理结果和/或统计分析结果。
7.根据权利要求6所述的系统，其特征在于，所述结果同步层具体用于：
提供与客户端连接的API接口，在接收到所述客户端发送的查询请求时通过所述API接口向所述客户端发送所述数据处理结果和/或所述统计分析结果；或者
将所述数据处理结果和/或所述统计分析结果卸载成文件或卸载到其他系统。
8.根据权利要求6所述的系统，其特征在于，所述镜像层还用于：
对所述消息数据进行清洗和/或转换，并将清洗和/或转换后的消息数据进行存储。
9.根据权利要求6-8任一项所述的系统，其特征在于，
所述计算层还用于，对所述数据处理结果进行数据的Context式存储；
所述统计分析层还用于，对所述统计分析结果进行数据的Context式存储所述镜像层具体用于，对所述消息数据集中进行数据的Context式存储。
10.根据权利要求9所述的系统，其特征在于，所述采集层还用于：
对获取的所述轨迹文件进行同步稽核，以保证所述轨迹文件在传输过程的可靠性。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司，未经中国联合网络通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810872721.X/1.html，转载请声明来源钻瓜专利网。
