[发明专利]实时流数据的结构化解析、流计算的方法及计算机设备在审
| 申请号： | 201810029081.6 | 申请日： | 2018-01-12 |
| 公开（公告）号： | CN108256045A | 公开（公告）日： | 2018-07-06 |
| 发明（设计）人： | 卞信铨 | 申请（专利权）人： | 福建星瑞格软件有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人： | 王美花 |
| 地址： | 350000 福建省福州市鼓楼区*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 流数据 实时流 解析 表结构 读取 数据粒度 自动解析 分隔符 结构化 自定义 转化 用户自定义模式 业务逻辑开发 计算机设备 结构化数据 计算引擎 分割 转换 | ||
1.一种实时流数据的结构化解析方法，其特征在于：包括自动解析模式和用户自定义模式方式的至少一种：
所述自动解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构；
所述用户自定义解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构，其中的列名为自定义；或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析。
2.根据权利要求1所述的一种实时流数据的结构化解析方法，其特征在于：所述流数据的数据粒度为流数据记录或者为一个时间段内收集的流数据，且该数据粒度能被配置。
3.根据权利要求2所述的一种实时流数据的结构化解析方法，其特征在于：所述流数据的分隔符为标点符号、ascii码或者为回车。
4.一种实时流数据的结构化流计算方法，其特征在于：包括实时流数据的结构化解析过程和流计算过程，所述实时流数据的结构化解析过程是通过如权利要求1至3任一项所述的方法进行的，并得到结构数据作为所述流计算过程的数据源。
5.根据权利要求4所述的一种实时流数据的结构化流计算方法，其特征在于：所述数据源还包括外部持久存储的传统数据。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下过程：
自动解析过程：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构；或
用户自定义解析过程：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构，其中的列名为自定义；或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析。
7.根据权利要求6所述的一种计算机设备，其特征在于：所述流数据的数据粒度为流数据记录或者为一个时间段内收集的流数据，且该数据粒度能被配置。
8.根据权利要求6所述的一种计算机设备，其特征在于：所述流数据的分隔符为标点符号、ascii码或者为回车。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于福建星瑞格软件有限公司，未经福建星瑞格软件有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810029081.6/1.html，转载请声明来源钻瓜专利网。
