[发明专利]实时数据标签获取方法、装置、计算机设备和存储介质

权利要求书

1.一种实时数据标签获取方法，其特征在于，所述方法包括：

接收服务器后端发送的实时消息，并从所述实时消息中获取用户行为数据；

根据预设分析任务中的预设指标，从所述用户行为数据中，提取与所述预设指标中的字段具有相关性的字段，并将提取到的所述用户行为数据中的字段，作为实时增量数据，其中，所述预设指标为所述预设分析任务中的任务分析要求信息；

整合所述实时增量数据和预设的历史全量数据中的共同字段，将整合得到的所述共同字段，作为实时全量数据，并将所述实时全量数据存储到预设数据库中。

2.根据权利要求1所述的方法，其特征在于，在所述接收服务器后端发送的实时消息，并从所述实时消息中提取用户行为数据之前，所述方法还包括：

若接收到所述预设分析任务，则从数据仓库中同步历史数据，得到待处理的用户历史数据；

获取所述预设分析任务中的所述预设指标，从所述用户历史数据中，提取与所述预设指标中的字段具有相关性的字段，并将提取到的所述用户历史数据中的字段，作为历史全量数据。

3.根据权利要求2所述的方法，其特征在于，所述从所述用户历史数据中，提取与所述预设指标中的字段具有相关性的字段包括：

通过Spark计算引擎创建字段提取任务，并按照所述字段提取任务从所述用户历史数据中，提取与所述预设指标中的字段具有相关性的字段。

4.根据权利要求1所述的方法，其特征在于，所述接收服务器后端发送的实时消息，并从所述实时消息中获取用户行为数据包括：

实时监听所述服务器后端发送的实时消息；

根据预设的数据封装格式从所述实时消息中提取用户实时动作数据；

筛选与所述预设分析任务具有相关性的用户实时动作数据，并将筛选到的用户实时动作数据，作为用户行为数据。

5.根据权利要求4所述的方法，其特征在于，所述根据预设的数据封装格式从所述实时消息中提取用户实时动作数据包括：

根据Kafka数据封装格式从所述实时消息提取用户实时动作数据。

6.一种实时数据标签获取装置，其特征在于，所述装置包括：

实时数据接收模块，用于接收服务器后端发送的实时消息，并从所述实时消息中获取用户行为数据；

实时增量数据提取模块，用于根据预设分析任务中的预设指标对所述用户行为数据进行指标统计处理，从所述用户行为数据中，提取与所述预设指标中的字段具有相关性的字段，并将提取到的所述用户行为数据中的字段，作为实时增量数据，其中，所述预设指标为所述预设分析任务中的任务分析要求信息；

数据整合模块，用于整合所述实时增量数据和预设的历史全量数据中的共同字段，将整合得到的所述共同字段，作为实时全量数据，并将所述实时全量数据存储到预设数据库中。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

历史数据同步模块，用于若接收到所述预设分析任务，则从数据仓库中同步历史数据，得到待处理的用户历史数据；

历史全量数据提取模块，用于获取所述预设分析任务中的所述预设指标，从所述用户历史数据中，提取与所述预设指标中的字段具有相关性的字段，并将提取到的所述用户历史数据中的字段，作为历史全量数据。

8.根据权利要求6所述的装置，其特征在于，所述实时数据接收模块包括：

数据监听子模块，用于实时监听所述服务器后端发送的实时消息；

数据封装子模块，用于根据预设的数据封装格式从所述实时消息中提取用户实时动作数据；

数据筛选子模块，用于筛选与所述预设分析任务具有相关性的用户实时动作数据，并将筛选到的用户实时动作数据，作为用户行为数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。