[发明专利]面向大规模动态事务查询的动态自适应数据模型在审
| 申请号： | 201710325734.0 | 申请日： | 2017-05-10 |
| 公开（公告）号： | CN107301094A | 公开（公告）日： | 2017-10-27 |
| 发明（设计）人： | 郭蒙雨;康宏;袁晓洁 | 申请（专利权）人： | 南开大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F11/14;G06F17/30 |
| 代理公司： | 北京轻创知识产权代理有限公司11212 | 代理人： | 杨立,王丹 |
| 地址： | 300350 天津市*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及面向大规模动态事务查询时的动态自适应数据模型构建方法，包括以下步骤从console、RPC、text、tail、日志系统、exec等数据源上实时地收集数据；对于高吞吐量的情况，调节实时性场景中数据采集与数据处理的速度，降低系统处理大规模动态工作负载的延时，保证系统的稳定性；对工作负载中的每一条数据库查询请求进行处理，提取出有效的分区信息，得到实时的数据模型；持续处理工作负载中的数据，处理单元的数量可以根据工作负载的规模动态调整，多个处理单元，可实现并行处理；将结果写入分布式文件系统，存储在MySQL数据库。本发明使用了流式框架，在分布式集群中合理分配资源，健壮性上得以提高。 | ||
| 搜索关键词： | 面向 大规模 动态 事务 查询 自适应 数据模型 | ||
【主权项】：
一种面向大规模动态事务查询时的动态自适应数据模型构建方法，其特征在于，包括以下步骤：步骤1：从console、RPC、text、tail、日志系统、exec等数据源上实时地收集数据；步骤2：对于高吞吐量的情况，调节实时性场景中数据采集与数据处理的速度，降低系统处理大规模动态工作负载的延时，保证系统的稳定性；步骤3：对工作负载中的每一条数据库查询请求进行处理，提取出有效的分区信息，得到实时的数据模型；步骤4：持续处理工作负载中的数据，处理单元的数量可以根据工作负载的规模动态调整，多个处理单元，可实现并行处理；步骤5：将结果写入分布式文件系统，存储在MySQL数据库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南开大学，未经南开大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710325734.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种管理资源的方法和装置
- 下一篇：系统运行方法以及操作系统
