[发明专利]日志数据处理方法、装置、电子设备及存储介质

说明书

本发明提供一种日志数据处理方法、装置、电子设备及存储介质，通过接收第二电子设备发送的数据处理请求，数据处理请求中包括：第一数据特征；对第一数据特征进行调整，形成多个第二数据特征；获取原始日志数据；确定原始日志数据中与第一数据特征对应的第一目标日志数据和与各第二数据特征对应的第二目标日志数据；计算各第二目标日志数据的权重；根据权重对第一目标日志数据进行处理，而本发明中根据第二目标日志数据的权重，对第一目标日志数据进行处理，使各第二目标日志数据获得与之相匹配的计算资源，提高了系统数据处理速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志数据处理方法、装置、电子设备及存储介质。

背景技术

随着网络通讯技术和互联网行业的发展，移动网络用户数量和用户活跃度迅速增长，相应的，用户使用移动网络服务所产生的记录和日志也快速增加。网络运营商在对日志数据中的信息进行统计和处理前，需要首先对原始的日志数据进行分类和整理等预处理工序，使预处理后的日志数据能够满足后续不同的使用需求。

目前，对日志数据进行预处理的方法，一般是根据预设的特征维度，对日志数据进行分类处理，并将分类处理后的日志数据发送给其他服务器进行后续的处理步骤。

但是，由于用户分布、用户消费特点的差异，使预处理后输出的日志数据的文件数量、文件大小都存在较大差异，在后续日志数据的分析、查询等处理过程中，造成了计算资源分配不合理，降低系统数据处理速度的问题。

发明内容

本发明提供一种日志数据处理方法、装置、电子设备及存储介质，用以解决日志数据的处理过程中，计算资源分配不合理，降低系统数据处理速度的问题。

根据本公开实施例的第一方面，本发明提供了一种日志数据处理方法，所述方法应用于第一电子设备，所述第一电子设备与第二电子设备进行通信，所述方法包括：

接收第二电子设备发送的数据处理请求，所述数据处理请求中包括：第一数据特征；

对所述第一数据特征进行调整，形成多个第二数据特征；

获取原始日志数据；

确定所述原始日志数据中与所述第一数据特征对应的第一目标日志数据和与各第二数据特征对应的第二目标日志数据；

计算各所述第二目标日志数据的权重；

根据所述权重对所述第一目标日志数据进行处理。

可选地，所述确定所述原始日志数据中与所述第一数据特征对应的第一目标日志数据和与各所述第二数据特征对应的第二目标日志数据，包括：

根据各所述第二数据特征，对所述原始日志数据进行查询，确定与各所述第二数据特征对应的第二目标日志数据；

将各所述第二目标日志数据的集合，确定为所述第一目标日志数据。

可选地，所述第二数据特征包括至少一个特征维度，每个所述第二数据特征的特征维度对应一个特征值；所述计算各所述第二目标日志数据的权重，包括：

获取所述特征值在对应特征维度下的特征值权重；

计算各所述第二数据特征中每个所述特征维度对应的特征值权重的累乘，作为所述第二目标日志数据的权重。

可选地，所述获取所述特征值在对应特征维度下的特征值权重，包括：

获取所述第一目标日志数据中，与所述特征值对应的第三目标日志数据；

计算所述第三目标日志数据的数据量与所述第一目标日志数据的数据量的比值，作为所述特征值权重。

可选地，所述特征维度包括以下特征的任意一种或多种：账期、号码归属地、业务类型、识别方式和所用域。