[发明专利]一种数据碰撞流分析方法及装置、存储介质、终端

说明书

本发明涉及一种数据碰撞流分析方法及装置、存储介质、终端，所述数据碰撞流分析方法包括如下步骤：接收碰撞；查询确定空闲的碰撞线程；利用所述空闲的碰撞线程执行所述碰撞并进行分析，以得到分析结果，其中，每一空闲的碰撞线程同一时间仅执行和分析单个碰撞。本发明技术方案可以有效避免流通数据的丢失，提高数据分析的准确性。

技术领域

本发明涉及数据流通技术领域，具体涉及一种数据碰撞流分析方法及装置、存储介质、终端。

背景技术

大数据已经被广泛认为是一种战略性的新型资源，可以定义当今时代产生的海量数据以及相关的技术发展与服务创新。大数据蕴藏着巨大的商业价值。对于大数据时代下的用户来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。

目前，出于各种数据应用需求，数据的需求方和供应方之间往往通过数据流通进行数据的交换。为了检验数据流通过程中的数据质量，需要在数据流通的执行过程中进行数据的实时流分析。现有的大数据分析方法主要有两种。第一种方法，先将流通中获得的数据保存在批处理平台中，然后再定时取出数据，并对取出的数据进行分析，此种方式并不能实现对大数据的实时流分析。第二种方法，通常将流通中的数据放入分布式消息订阅发布系统kafka中，再配合数据流处理系统Storm或Spark-Streaming进行实时流分析。但是，kafka只追求高的数据吞吐量，其在存储多个不同上层业务ID下的多个批次的数据时，很容易丢失数据，而且kafka本身应用在数据流通领域时的事务性差；storm或Spark-Streaming通常用来对无限量的数据流进行分析，不同批次的待分析数据会源源不断的加入Storm或Spark-Streaming的分析机中，当分析机发出错误警报时，并不能确定是哪个批次的数据出现了错误。若使用分布式存储和计算平台MapR-Streaming来代替kafka，则需要增加大量的成本投入。

发明内容

本发明解决的技术问题是如何提高对大量业务ID下的流通数据进行流分析的准确性。

为解决上述技术问题，本发明实施例提供了一种数据碰撞流分析方法，包括如下步骤：接收碰撞；查询确定空闲的碰撞线程；利用所述空闲的碰撞线程执行所述碰撞并进行分析，以得到分析结果，其中，每一空闲的碰撞线程同一时间仅执行和分析单个碰撞。

可选的，所述数据碰撞流分析方法还包括：将所述分析结果发送至所述碰撞的发起端。

可选的，所述接收碰撞包括：恢复前次已经接收且在碰撞执行过程中被中断的碰撞；接收当前新的碰撞。

可选的，所述接收碰撞还包括：预存所述碰撞。

可选的，所述查询确定空闲的碰撞线程包括：确定所述碰撞的类型；查询确定类型与所述碰撞的类型相匹配的空闲的碰撞线程。

可选的，所述查询确定空闲的碰撞线程包括：确定所述碰撞的类型；轮询当前运行的碰撞线程的数量；若所述当前运行碰撞线程的数量小于预设阈值，则随机选择类型与所述碰撞的类型相匹配的空闲的碰撞线程；若所述当前运行的碰撞线程的数量大于或等于所述预设阈值，则开始下一轮轮询。

可选的，利用所述空闲的碰撞线程进行分析包括：获取ID数据，所述碰撞是由所述ID数据标识的；向所述碰撞的需求方发送所述ID数据，以获取所述碰撞对应的数据并进行分析。

可选的，如果在利用所述空闲的碰撞线程执行所述碰撞的过程中发生故障，则由运行所述碰撞线程的主服务器的第一后备服务器继续执行所述碰撞，如果所述第一后备服务器执行所述碰撞过程中发生故障，则由所述主服务器的第二后备服务器继续执行所述碰撞，其中，所述主服务器的第一后备服务器还用作另一主服务器的第二后备服务器，所述主服务器的第二后备服务器还用作另一主服务器的第一后备服务器。