[发明专利]实时数据同步方法以及装置、服务器在审
| 申请号： | 201910956548.6 | 申请日： | 2019-09-29 |
| 公开（公告）号： | CN110704400A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 梁涌;吴峰;郭伟 | 申请（专利权）人： | 上海易点时空网络有限公司 |
| 主分类号： | G06F16/21 | 分类号： | G06F16/21;G06F16/22;G06F16/27 |
| 代理公司： | 11541 北京卓唐知识产权代理有限公司 | 代理人： | 唐海力 |
| 地址： | 200125 上海市浦东*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种实时数据同步方法以及装置、服务器。该方法包括在HIVE数据库中创建预设数据表；启动至少一个进程，从消息队列中批量读取数据；创建时间周期目录，根据所述预设数据表数据结构对所述批量读取数据内容按照分布式文件系统格式写入到文件数据中；定时将上一个时间周期的数据文件转移到新的指定的迁移目录下；通过日志收集系统将所述迁移目录下的数据文件内容同步到HIVE数据库对应的所述预设数据表目录下。本申请解决了实时数据同步方法效果不佳的技术问题。通过本申请将业务方实时传到MQ队列的数据，直接同步到Hive，节省资源和带宽，又不影响线上正常业务的查询效率。 | ||
| 搜索关键词： | 预设 时间周期 实时数据 数据库 申请 迁移 分布式文件系统 日志收集系统 数据文件内容 数据文件转移 查询效率 节省资源 数据结构 文件数据 消息队列 正常业务 影响线 创建 队列 服务器 带宽 写入 进程 | ||
【主权项】：
1.一种实时数据同步方法，其特征在于，包括：/n在HIVE数据库中创建预设数据表；/n启动至少一个进程，从消息队列中批量读取数据；/n创建时间周期目录，根据所述预设数据表数据结构对所述批量读取数据内容按照分布式文件系统格式写入到文件数据中；/n定时将上一个时间周期的数据文件转移到新的指定的迁移目录下；/n通过日志收集系统将所述迁移目录下的数据文件内容同步到HIVE数据库对应的所述预设数据表目录下。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海易点时空网络有限公司，未经上海易点时空网络有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910956548.6/，转载请声明来源钻瓜专利网。
