[发明专利]大数据采集方法、装置及系统

说明书

一种大数据采集方法、装置及系统，其中，所述方法包括：接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。相对于现有技术中需要收集预定时间段的日志后，再对日志进行格式转化的方式，本发明实施例提供的方案实现了大数据的实时采集，为大数据实时分析创造了条件。

技术领域

本发明涉及大数据技术领域，具体涉及一种大数据采集方法、装置及系统。

背景技术

随着科技的发展，为给用户提供更精准的服务，很多研发机构及企业捕捉用户的使用行为信息，进行有效分析，而后，用准确量化的数据进行分析得到大数据分析结果。基于大数据的分析结果来实现产品创新及优化，研发机构及企业对数据分析的需求越来越旺盛。

由于通常基于客户端外挂程序的方式来进行用户数据采集，采集样本容量非常庞大，并且用户行为信息的数据格式与数据分析时所采用的数据格式不同，若采用在线采集数据、分析数据会造成数据处理量大的问题，容易导致网络堵塞的情况发生。因此，现有技术中，在对大数据进行采集分析时，通常采集和分析两步分离作业。亦即，首先基于客户端或者终端记录用户的行为，完成一定时段的记录后，将这些行为信息收集起来，而后，将完成收集的信息打包交由后台大数据服务器进行分析，得到分析结果。现有技术中的这种大数据采集、分析模式为T+1模式，耗费的时间长，数据采集的效率低下，难以满足对数据实时性的需求，尤其是需要在线调整、优化产品的需求。

因此，如何实现大数据的实时采集，满足大数据实时分析条件成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于现有技术中实现大数据的实时采集，满足大数据实时分析条件。

为此，根据第一方面，本发明实施例公开了一种大数据采集方法，包括：

接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。

可选地，按预设路径向数据库发送传输文件包括：收集多个传输文件构成传输文件集；向数据库发送传输文件集。

可选地，在收集多个传输文件构成传输文件集和按预设路径向数据库发送传输文件集之间，还包括：对传输文件集进行解码转化为符合大数据分析格式的结构化数据集；按预设时间间隔向数据库发送传输文件集。

可选地，服务日志包括：数据交互过程日志、数据更新日志和第三方报文日志中的任意一种或者任意组合。

根据第二方面，本发明实施例公开了一种大数据采集装置，包括：

请求接收模块，用于接收数据前端发送的提供服务请求；监听模块，用于根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；日志转化模块，用于将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；传输模块，用于按预设路径向数据库发送传输文件。

可选地，传输模块包括：收集单元，用于收集多个传输文件构成传输文件集；发送单元，用于向数据库发送传输文件集。

可选地，还包括：结构化模块，用于对传输文件集进行解码转化为符合大数据分析格式的结构化数据集；发送单元用于按预设时间间隔向数据库发送传输文件集。

可选地，服务日志包括：数据交互过程日志、数据更新日志和第三方报文日志中的任意一种或者任意组合。

根据第三方面，本发明实施例公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现如下方法：