[发明专利]数据的处理方法和装置、存储介质、电子装置

说明书

本申请公开了一种数据的处理方法和装置、存储介质、电子装置。其中，该方法包括：将软件系统埋点上报的数据按照用户画像进行数据分类；结合数据分类定义多个进程进行数据处理。本申请解决了相关技术中数据处理的运行性能较差的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据的处理方法和装置、存储介质、电子装置。

背景技术

目前现有技术中，业界通常采用对软件系统进行埋点的方法收集并统计技术指标，也就是说通过埋点的方式对软件系统上报数据做可视化健康检查或者收集用户使用软件系统上报的行为数据，所以埋点统计的重要性可想而知。

然而，现有的单进程埋点实时统计方式对于收集大量的软件系统的性能数据和用户行为数据而言，存在运行性能问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据的处理方法和装置、存储介质、电子装置，以至少解决相关技术中数据处理的运行性能较差的技术问题。

根据本申请实施例的一个方面，提供了一种数据的处理方法，包括：将软件系统埋点上报的数据按照用户画像进行数据分类；结合数据分类定义多个进程进行数据处理。

可选地，在结合数据分类定义多个进程进行数据处理时，创建多个进程，通过所述多个进程中的每个进程处理一类数据，其中，进程的个数和数据类别的个数相同，任意两个进程所处理的数据类别不同。

可选地，在结合数据分类定义多个进程进行数据处理时，创建多个进程，通过所述多个进程中的每个进程处理多类数据，其中，进程的个数小于数据类别的个数，任意两个进程所处理的数据类别不同。

可选地，在将软件系统埋点上报的数据按照用户画像进行数据分类之前，通过5G手机触发埋点开关，接收5G手机按照约定格式上报的性能埋点数据和用户行为埋点数据。

可选地，在将软件系统埋点上报的数据按照用户画像进行数据分类时，预先启动的文件分发系统将5G手机上报的数据文件通过数据库定义的用户画像的标签将文件分类，分别分发到对应类别的文件服务器上。

可选地，在结合数据分类定义多个进程进行数据处理的过程中，在数据库中创建多进程的配置表，所述配置表包括的字段有：进程id、进程名、标签id、文件系统ip、文件系统目录、线程数；根据配置表生成多个后台埋点统计系统的进程，分别对各自标签对应的文件系统中的文件进行收集和统计。

可选地，在结合数据分类定义多个进程进行数据处理的过程中，将多个进程分别部署在不同的服务器上；当任一服务器发生雪崩时，将对应标签下的文件进行回滚重新处理。

根据本申请实施例的另一方面，还提供了一种数据的处理装置，包括：分类单元，用于将软件系统埋点上报的数据按照用户画像进行数据分类；处理单元，用于结合数据分类定义多个进程进行数据处理。

可选地，处理单元还用于在结合数据分类定义多个进程进行数据处理时，创建多个进程，通过所述多个进程中的每个进程处理一类数据，其中，进程的个数和数据类别的个数相同，任意两个进程所处理的数据类别不同。

可选地，处理单元还用于在结合数据分类定义多个进程进行数据处理时，创建多个进程，通过所述多个进程中的每个进程处理多类数据，其中，进程的个数小于数据类别的个数，任意两个进程所处理的数据类别不同。

可选地，处理单元还用于在将软件系统埋点上报的数据按照用户画像进行数据分类之前，通过5G手机触发埋点开关，接收5G手机按照约定格式上报的性能埋点数据和用户行为埋点数据。