[发明专利]数据要素分析方法、装置、电子装置和存储介质

说明书

本申请涉及一种数据要素分析方法、装置、电子装置和存储介质，其中，该数据要素分析方法包括：获取数据库表格中的多个字段，所述字段中包括限定词和数据元词；对多个所述字段进行分词处理，获得对应的限定集合和数据元集合，其中所述限定集合包含有多个所述限定词，所述数据元集合包含有多个所述数据元词；基于所述限定集合和所述数据元集合进行数据要素分析，对多个所述字段进行关联标记。通过本申请，通过对多个字段进行关联标记或关系标记，从底层数据出发，挖掘出数据表中存在各种有用信息，通过对字段进行分析，展现出存在于字段中数据之间的完善价值信息，解决了数据业务架构数据利用效率低下的问题，提高了数据利用效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及数据要素分析方法、装置、电子装置和存储介质。

背景技术

随着数据分析技术的快速发展，大数据的分析逐渐为人们所重视。在数据治理中，数据的来源及形式是多样的，表格数据文件是其中的一种常见类型。

目前针对数据库中的结构化数据的分类，主要基于对字段名称和注释的语义分析、对字段内容的规则等对其进行匹配分类。传统的数据处理，是将业务与数据进行关联，提取与业务相关的数据，数据利用效率低下。

目前针对相关技术中数据业务架构数据利用效率低下，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据要素分析方法、装置、电子装置和存储介质，以至少解决相关技术中数据业务架构数据利用效率低下的问题。

第一方面，本申请实施例提供了一种数据要素分析方法，包括：

获取数据库表格中的多个字段，所述字段中包括限定词和数据元词；

对多个所述字段进行分词处理，获得对应的限定集合和数据元集合，其中所述限定集合包含有多个所述限定词，所述数据元集合包含有多个所述数据元词；

基于所述限定集合和所述数据元集合进行数据要素分析，对多个所述字段进行关联标记。

在其中一些实施例中，所述对将多个所述字段进行分词处理，获得对应的限定集合和数据元集合包括：

将多个所述字段转换为标准词；

将多个所述字段进行分词处理，获得多个所述限定词和多个所述数据元词；

将所述标准词进行分词，获得多个所述限定词和多个所述数据元词；

将多个所述限定词和多个所述数据元词输入识别模型进行分类，获得对应的所述限定集合和所述数据元集合。

在其中一些实施例中，所述将多个所述限定词和多个所述数据元词输入语义识别模型进行分类，获得对应的所述限定集合和所述数据元集合包括：

将多个所述限定词输入第一识别模型，得到多个所述限定集合；

将多个所述数据元词输入第二识别模型，得到多个所述数据元集合。

在其中一些实施例中，所述将多个所述限定词输入第一识别模型，得到多个限定集合包括：

根据相似度计算方法计算多个所述限定词的语义相似度；

将所述语义相似度大于或等于相似度阈值的限定词进行整合，生成所述限定集合。

在其中一些实施例中，所述将多个所述数据元词输入第二识别模型，得到多个数据元集合之前包括：

建立神经网络，将多个所述数据元词作为训练集对神经网络进行训练，获得第二识别模型，所述第二识别模型的输入为多个所述数据元词，输出为多个数据元集合。

在其中一些实施例中，所述基于所述限定集合和所述数据元集合进行数据要素分析，对多个所述字段进行关联标记包括：