[发明专利]实时流数据的存储方法及装置在审
| 申请号: | 201710224721.4 | 申请日: | 2017-04-07 |
| 公开(公告)号: | CN108694187A | 公开(公告)日: | 2018-10-23 |
| 发明(设计)人: | 胡信 | 申请(专利权)人: | 北京国双科技有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
| 地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 实时流 解析结果 存储 数据条 信息处理技术 分布式数据 查询操作 查询系统 查询性能 查询引擎 实时系统 预设数据 条数 解析 写入 访问 | ||
1.一种实时流数据的存储方法,其特征在于,包括:
接收实时流数据;
对所述实时流数据进行解析,得到解析结果;
根据所述解析结果,确定所述实时流数据的数据条数;
判断所述实时流数据的数据条数是否达到预设数据条数;
如果是,则将所述实时流数据的解析结果写入分布式数据查询引擎。
2.根据权利要求1所述的方法,其特征在于,在判断所述实时流数据的数据条数未达到预设数据条数后,所述方法还包括:
判断首次接收到所述实时流数据的时间到当前时间所经过的时间是否达到预设时间间隔,或者,判断自上次数据写入所述分布式数据查询引擎的时间到当前时间所经过的时间是否达到预设时间间隔;
如果是,则将所述实时流数据的解析结果写入分布式数据查询引擎。
3.根据权利要求2所述的方法,其特征在于:
采用第一线程执行所述判断所述实时流数据的数据条数是否达到预设数据条数,以及所述判断首次接收到所述实时流数据的时间点到当前时间所经过的时间是否达到预设时间间隔,或者,判断自上次数据写入所述分布式数据查询引擎的时间到当前时间所经过的时间是否达到预设时间间隔的步骤;
采用与所述第一线程独立的第二线程执行将所述实时流数据的解析结果写入分布式数据查询引擎的步骤。
4.根据权利要求3所述的方法,其特征在于,在判断所述实时流数据的数据条数是否达到预设数据条数之前,所述方法还包括:
在与所述第一线程、所述第二线程分别独立的第三线程中配置所述预设数据条数,以及在与所述第一线程、所述第二线程、所述第三线程分别独立的第四线程中配置所述预设时间间隔。
5.根据权利要求1至4任一项所述的方法,其特征在于,在对所述实时流数据进行解析,得到解析结果后,所述方法还包括:
将所述解析结果存储进预设缓存中;
根据所述解析结果,确定所述实时流数据的数据条数包括:
根据所述预设缓存中存储的解析结果,确定所述实时流数据的数据条数。
6.一种实时流数据的存储装置,其特征在于,包括:
接收单元,用于接收实时流数据;
解析单元,用于对所述实时流数据进行解析,得到解析结果;
确定单元,用于根据所述解析结果,确定所述实时流数据的数据条数;
第一判断单元,用于判断所述实时流数据的数据条数是否达到预设数据条数;
写入单元,用于如果达到预设数据条数,则将所述实时流数据的解析结果写入分布式数据查询引擎。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:第二判断单元,
所述第二判断单元,用于判断首次接收到所述实时流数据的时间到当前时间所经过的时间是否达到预设时间间隔,或者,判断自上次数据写入所述分布式数据查询引擎的时间到当前时间所经过的时间是否达到预设时间间隔;
所述写入单元,还用于如果达到预设时间间隔,则将所述实时流数据的解析结果写入分布式数据查询引擎。
8.根据权利要求7所述的装置,其特征在于:
所述第一判断单元,具体用于采用第一线程执行所述判断所述实时流数据的数据条数是否达到预设数据条数;
所述第二判断单元,具体用于采用第一线程执行所述判断首次接收到所述实时流数据的时间点到当前时间所经过的时间是否达到预设时间间隔,或者,判断自上次数据写入所述分布式数据查询引擎的时间到当前时间所经过的时间是否达到预设时间间隔的步骤;
所述写入单元,具体用于采用与所述第一线程独立的第二线程执行将所述实时流数据的解析结果写入分布式数据查询引擎的步骤。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
配置单元,用于在与所述第一线程、所述第二线程分别独立的第三线程中配置所述预设数据条数,及在与所述第一线程、所述第二线程、所述第三线程分别独立的第四线程中配置所述预设时间间隔。
10.根据权利要求6至9任一项所述的装置,其特征在于,所述装置还包括:存储单元,
所述存储单元,用于将所述解析结果存储进预设缓存中;
所述确定单元,具体用于根据所述预设缓存中存储的解析结果,确定所述实时流数据的数据条数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710224721.4/1.html,转载请声明来源钻瓜专利网。





