[发明专利]实时流数据的结构化解析、流计算的方法及计算机设备在审
申请号: | 201810029081.6 | 申请日: | 2018-01-12 |
公开(公告)号: | CN108256045A | 公开(公告)日: | 2018-07-06 |
发明(设计)人: | 卞信铨 | 申请(专利权)人: | 福建星瑞格软件有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人: | 王美花 |
地址: | 350000 福建省福州市鼓楼区*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种实时流数据的结构化解析方法,包括自动解析模式和用户自定义模式方式:所述自动解析模式是:读取流数据,根据预设有数据粒度,根据流数据的分隔符对实时流数据进行分割,并转化为具有行和列的表结构;所述用户自定义解析模式是:读取流数据,根据预设有数据粒度,根据流数据的分隔符对实时流数据进行分割,并转化为具有行和列的表结构,其中的列名为自定义;或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析。本发明将流数据转换为结构化数据后,在由流计算引擎实时执行流数据的流计算,很大程度上简化了流计算的业务逻辑开发的难度。 | ||
搜索关键词: | 流数据 实时流 解析 表结构 读取 数据粒度 自动解析 分隔符 结构化 自定义 转化 用户自定义模式 业务逻辑开发 计算机设备 结构化数据 计算引擎 分割 转换 | ||
【主权项】:
1.一种实时流数据的结构化解析方法,其特征在于:包括自动解析模式和用户自定义模式方式的至少一种:所述自动解析模式是:读取流数据,根据预设有数据粒度,根据流数据的分隔符对实时流数据进行分割,并转化为具有行和列的表结构;所述用户自定义解析模式是:读取流数据,根据预设有数据粒度,根据流数据的分隔符对实时流数据进行分割,并转化为具有行和列的表结构,其中的列名为自定义;或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建星瑞格软件有限公司,未经福建星瑞格软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810029081.6/,转载请声明来源钻瓜专利网。