[发明专利]实时流数据的结构化解析、流计算的方法及计算机设备

说明书

本发明提供一种实时流数据的结构化解析方法，包括自动解析模式和用户自定义模式方式：所述自动解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构；所述用户自定义解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构，其中的列名为自定义；或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析。本发明将流数据转换为结构化数据后，在由流计算引擎实时执行流数据的流计算，很大程度上简化了流计算的业务逻辑开发的难度。

技术领域

本发明涉及一种实时流数据的处理方法，特别涉及一种实时流数据结构化解析及结构化流计算方法，以及实现上述方法的计算机设备。

背景技术

在传统的数据处理流程中，总是先收集数据，然后将数据存放到某个存储框架中持久存储。当人们需要的时候通过计算框架对数据作计算，计算则是从数据中提取信息的过程，最终得到答案或进行相关的处理。这样看起来虽然非常合理，但是在一些需要实时计算应用的环境中就会存在问题，传统数据处理方式的离线处理并不能很好地解决这些问题。

流式数据是大数据环境下的一种数据形态，其理论诞生于20世纪末，并在云计算和物联网发展下逐步成为当前的研究热点。流式数据与传统的数据是相对的。与静态、批处理和持久化的数据库相比，流式计算以连续、无边界和瞬时性为特征，适合高速并发和大规模数据实时处理的场景。当前大数据环境下的许多应用呈现多源并发、数据汇聚、在线处理的特征，所以实时数据处理的相关研究发展迅速，并在许多关键领域，如传感网络、金融、医疗、交通和军事领域得到了广泛的应用。

这就引出了一种新的数据计算方式--实时流计算。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一个流计算节点或者将结果存放到某个存储框架中持久存储。实时流计算是大数据时代的重要抓手。采用“事中”甚至“事前”模式实现感知、分析、判断、决策。

发展至今，实时流计算技术已经非常的成熟，面对现代业务高速的发展同时也暴露出一些问题，实时流计算要么针对接收到的每条流数据的记录进行计算，要么针对某个时间段内收集到的流数据的记录进行计算，流计算的业务逻辑开发比较复杂，无法像传统的数据处理应用Query进行业务逻辑开发，如果遇到复杂的多次迭代的业务逻辑开发起来就更加吃力。现在企业的业务需求已经无法单单使用流数据的实时流计算能满足需求，往往都是伴随着流数据与传统数据的结合的流计算，此时现在的流计算方式就更力不从心了。

发明内容

本发明要解决的技术问题，在于提供一种实时流数据结构化解析及结构化流计算的方法，将流数据转换为结构化数据后，在由流计算引擎实时执行流数据的流计算，很大程度上简化了流计算的业务逻辑开发的难度。

本发明的实时流数据结构化解析方法是这样实现的：一种实时流数据的结构化解析方法，包括自动解析模式和用户自定义模式方式的至少一种：

所述自动解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构，从而实现简单的流数据结构化处理；

所述用户自定义解析模式是：读取流数据，根据预设有数据粒度，根据流数据的分隔符对实时流数据进行分割，并转化为具有行和列的表结构，其中的列名为自定义，从而实现简单的流数据结构化处理；或者是在转化为具有行和列的表结构的基础上再通过每个列定义的UDF进一步解析，从而实现复杂的流数据结构化处理。

本发明的实时流数据的结构化流计算方法是这样实现的：一种实时流数据的结构化流计算方法，包括实时流数据的结构化解析过程和流计算过程，所述实时流数据的结构化解析过程是通过本发明上述的方法进行的，并得到结构数据作为所述流计算过程的数据源。

进一步的，所述数据源还包括外部持久存储的传统数据。