[发明专利]一种无埋点数据采集方法、装置及存储介质

说明书

本发明提供了一种无埋点数据采集方法，所述步骤包括：流量预处理，从目的数据源获取第一数据流，应用第一策略对数据流进行筛选，获得第三数据流；流量解析，对第三数据流进行解析，判断第三数据流的特征，对判断结果进行仲裁；流量元数据提取，应用第二策略对第三数据流的特征进行处理，获得第三数据流的元数据。此外，本发明还提供了一种无埋点数据采集装置、设备、存储介质，通过对数据流进行筛选，可以有效减少流量解析过程中的运算压力，从而提高数据采集的效率。

技术领域

本发明涉及计算机技术领域，具体的，涉及一种无埋点数据采集方法、装置以及存储介质。

背景技术

面对海量资讯世界，在越来越多的数据和信息可以从互联网上获得时，对大量数据的采集、分析和深度挖掘同时还可能产生巨大的商机。电商企业、旅游、互联网金融、企业服务的等行业纷纷搭建数据指标体系，构建可以落地精细化运营、指导业务增长的用户画像，对数据规模性、丰富性、准确性、即时性等多方面提出了更多的要求。目前普遍使用数据埋点、网络爬虫等方式完成数据采集。

埋点数据采集具有代码工作量大、实施繁杂，发布后生效时间跨度大，数据时延大，埋点量大导致客户端崩溃等缺点。现阶段无埋点的技术依赖网站或者APP终端技术开发的严谨性与规范性、网络状态、网络口径等因素，并且无法深入到更细、更深的粒度，例如在电商行业中，用户点击“购物车”是一次交互行为，无埋点会忽略用户信息、商品品类等维度信息，若网站设置反爬虫机制，那么基于网络爬虫原理的数据采集的方法将不可用。另外，以上方法无法获的网络服务性能方面的数据，无法感知网络延迟带来的用户体验等问题。

因此，本领域亟需一种无埋点数据采集方法，以解决上述技术问题。

实用新型内容

有鉴于此，本发明的目的在于提供一种无埋点数据采集方法、设备以及存储介质，以解决背景技术中所述的至少一个技术问题。

具体的，本发明的第一方面，提供了一种无埋点数据采集方法，其步骤包括：

流量预处理，从目的数据源获取第一数据流，应用第一策略对数据流进行筛选，获得第三数据流；

流量解析，对第三数据流进行解析，判断第三数据流的特征，对判断结果进行仲裁；

流量元数据提取，应用第二策略对第三数据流的特征进行处理，获得第三数据流的元数据。

采用上述技术方案，通过对数据流进行筛选，可以有效减少流量解析过程中的运算压力，从而提高数据采集的效率。

优选地，所述流量预处理步骤中，还包括步骤，对数据流进行复制，获得第一数据流、第二数据流。

采用上述方案，通过对数据流进行复制，保证了原始数据流不会被后续的操作步骤所影响，改善用户的使用体验。

优选地，采用分光器对数据流进行复制，所述第一数据流与第二数据流中的数据相同。

优选地，所述流量预处理步骤中，还包括步骤，对第三数据流的进行解封装处理，获得第三数据流的标记特征。

优选地，所述流量预处理步骤中，还包括步骤，创建流表，所述流表包括第三数据流的标签信息。

优选地，所述标签信息包括标记特征。

采用上述技术方案，可以通过数据流的标记特征更快速的分辨数据来源，提高了数据采集效率。

优选地，所述标记特征包括五元组特征。

优选地，标签信息包括第三数据流的状态特征。

优选地，所述第三数据流的状态特征包括留存阈值，判断同类第三数据流的再次出现时间是否超过留存阈值，若超过，则将流表中将该第三数据流标签信息删除。