[发明专利]一种基于流式计算的数据连通率实时计算方法及装置

说明书

本发明提出了一种基于流式计算的数据连通率实时计算方法及装置，其中的方法包括：获取预定数据的行为数据信息并存储；拉取所述存储的行为数据信息，并将所述预定数据转换成离散的数据流；通过预定规则对所述离散的数据流进行解析并提取关键信息；根据所述关键信息确定所述预定数据的数据连通率。该方法通过将预定数据的行为数据信息转换成离散的数据流并进行解析及提取关键信息，最后根据关键信息确定该预定数据的数据连通率，从而实现了将大批量数据转换成微批量数据，并通过分布式方式对微批量数据进行快速计算，达到吞吐量大、低延迟的效果，以满足数据投放系统对高时效性的要求及适用对于时间延迟敏感的业务。

技术领域

本发明涉及计算机领域，尤其涉及一种基于流式计算的数据连通率实时计算方法及装置。

背景技术

随着移动互联网的快速发展，用户通过移动应用产生的数据呈现爆炸式生物增长。传统的离线批量计算方式可对海量数据进行处理，并将挖掘到的有价值的数据提供给数据投放系统，作为评估数据质量和指导数据排序的重要参考，但是传统的离线批处理计算方式往往要经过几个小时甚至几十个小时才能从海量数据中计算出结果。

例如，现有技术中的一种基于流式计算和批处理计算的互操作数据处理方法公开了通过启动方将触发请求和互操作信息发送给触发子单元，并由触发子单元转发触发请求和互操作信息给执行方，最后由执行方根据接收到的触发请求和互操作信息启动新的逻辑单元，开始执行任务进行数据处理的技术方案。但该方法存在数据吞吐量较低、恢复错误较慢以及延迟较大的问题。

因此，随着数据投放系统对时效性的需求越来越高，现有的离线批量处理方式显然无法满足数据投放系统对高时效性的要求，更无法适用对于时间延迟敏感的业务。

发明内容

本发明解决的技术问题之一是现有的数据投放系统无法满足对高时效性的要求，更无法适用对于时间延迟敏感的业务。

根据本发明一方面的一个实施例，提供了一种基于流式计算的数据连通率实时计算方法，包括：

获取预定数据的行为数据信息并存储；

拉取所述存储的行为数据信息，并将所述预定数据转换成离散的数据流；

通过预定规则对所述离散的数据流进行解析并提取关键信息；

根据所述关键信息确定所述预定数据的数据连通率。

根据本发明另一方面的一个实施例，提供了一种基于流式计算的数据连通率实时计算装置，包括：

用于获取预定数据的行为数据信息并存储的装置；

用于拉取所述存储的行为数据信息，并将所述预定数据转换成离散的数据流的装置；

用于通过预定规则对所述离散的数据流进行解析并提取关键信息的装置；

用于根据所述关键信息确定所述预定数据的数据连通率的装置。

由于本实施例将预定数据的行为数据信息转换成离散的数据流并进行解析及提取关键信息，最后根据关键信息确定该预定数据的数据连通率，从而实现了将大批量数据转换成微批量数据，并通过分布式方式对微批量数据进行快速计算，达到吞吐量大、低延迟的效果，以满足数据投放系统对高时效性的要求及适用对于时间延迟敏感的业务。

本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了根据本发明实施例一基于流式计算的数据连通率实时计算方法的流程图。