[发明专利]一种基于维度数据的映射方法、装置和存储介质

说明书

本申请提供一种基于维度数据的映射方法、装置和存储介质，属于数据处理的技术领域。所述方法包括：响应于针对目标维度数据的选择操作，获取所有待分析数据中各自描述所述目标维度数据的数据内容；通过维度数据聚类模型，根据所有数据内容中的文本，将所述所有数据内容聚合为多个聚类；对所述多个聚类中每个聚类描述所述目标维度数据的数据内容进行统一命名；将所述每个聚类中各个数据内容各自对应的待分析数据分为一组。本申请旨在提高数据分析结果的准确性。

技术领域

本申请实施例涉及数据处理的技术领域，具体而言，涉及一种基于维度数据的映射方法、装置和存储介质。

背景技术

在将实体进行数字抽象的过程中，实体的属性将会映射成为维度数据和度量数据，维度数据用于描述实体对应的数字对象的唯一标识，例如对于订单数据进行抽象后，订单对应的销售人员、销售地点以及销售产品的类别等都属于维度数据，度量数据为销售金额等。

在进行数据分析的过程中，通常会根据数字对象的维度数据进行聚合，例如对于一个月内所有的订单，聚合销售地点为深圳市的所有订单，或者聚合销售人员为A某的所有订单；基于维度数据对数字对象进行聚合时，通常需要对维度数据进行标准化处理，即描述同一维度的语言应该是统一的。

但是在实际进行数字抽象的过程中，会经常出现缺乏主数据管理和数据标准的情况，对于一个维度的描述会存在差异，示例地，对于销售地点而言，可能存在深圳、深圳市或广东省深圳市等不同的描述词汇；这些对于同一维度的不同描述会导致数据按维度统计时会导致偏差，进而数据分析结果不够准确。

发明内容

本申请实施例提供一种基于维度数据的映射方法、装置和存储介质，旨在提高数据分析结果的准确性。

第一方面，本申请实施例提供一种基于维度数据的映射方法，所述方法包括：

响应于针对目标维度数据的选择操作，获取所有待分析数据中各自描述所述目标维度数据的数据内容；

通过维度数据聚类模型，根据所有数据内容中的文本，将所述所有数据内容聚合为多个聚类；

对所述多个聚类中每个聚类描述所述目标维度数据的数据内容进行统一命名；

将所述每个聚类中各个数据内容各自对应的待分析数据分为一组。

可选地，响应于针对目标维度数据的选择操作，获取所有待分析数据中各自描述所述目标维度数据的数据内容，包括：

显示选择弹窗，所述选择弹窗中设置有所述待分析数据包括的所有维度数据选项；

根据在所述选择弹窗上针对一个或多个维度数据选项进行的选择操作，将所述一个或多个维度数据作为目标维度数据；

获取所有待分析数据中各自描述所述目标维度数据的数据内容。

可选地，通过维度数据聚类模型，根据所有数据内容中的文本，将所述所有数据内容聚合为多个聚类，包括：

将所述所有待分析数据中各自描述所述目标维度数据的数据内容输入维度数据聚类模型中；

所述维度数据聚类模型对所有的数据内容的文本进行向量化表示，并确定任意两个数据内容的向量化表示之间的相似度；

当任意两个数据内容的向量化表示之间的相似度大于既定阈值时，将两个数据内容确定为一类。

可选地，对所述多个聚类中每个聚类描述所述目标维度数据的数据内容进行统一命名，包括：

对所述多个聚类中的每个聚类提取字段特征；

对任一聚类对应的字段特征与预设的标准文本进行匹配，并用该字段特征匹配到的所述标准文本替换该聚类中所有数据内容的文本。