[发明专利]实体对齐的方法及装置

说明书

本申请提供了一种实体对齐的方法及装置，其中，该方法包括：获取待处理数据；基于所述待处理数据，从预先构建的商品标准数据库，筛选至少一条标准数据，并基于筛选得到的至少一条标准数据构成候选数据集；确定所述待处理数据分别与所述候选数据集中的每条标准数据之间的相似度；基于所述待处理数据分别与所述候选数据集中的每条标准数据之间的相似度，从所述候选数据集中确定目标标准数据，并将所述目标标准数据确定为所述待处理数据的实体对齐结果。该实体对齐的方法可以降低在实体对齐过程中产生的误差，提高实体对齐的准确度。

技术领域

本申请涉及数据处理领域，尤其是涉及一种实体对齐的方法及装置。

背景技术

随着移动互联网的不断发展，万物互联成为了可能。同时，电子商务充斥着人们的日常生活，通过网络上的电商平台购买商品也已经成为许多人的日常选择。

目前，在许多电商平台上，显示的商品的名称往往和商品的实际名称有所差异，许多商家为了使用户能够搜索到更多想要的商品，可能会在商品实际名称的基础上，附加别名、功效、规格等信息，使得商品的名称过于冗杂，命名不够规范。因此，可以采用实体对齐的方法对商品名称进行处理，实体对齐(Entity Alignment)也被称作实体匹配(EntityMatching)，是指对于异构数据源知识库中的各个实体，找出属于现实世界中的同一实体。

在现有技术中，目前的实体对齐方法有时不能获得准确的实体对齐结果，造成商品实体对齐过程中的误差较大。

发明内容

本申请至少提供一种实体对齐的方法及装置，能够减少实体对齐过程中产生的误差。

第一方面，本申请实施例提供了一种实体对齐的方法，包括：

获取待处理数据；

基于所述待处理数据，从预先构建的商品标准数据库，筛选至少一条标准数据，并基于筛选得到的至少一条标准数据构成候选数据集；

确定所述待处理数据分别与所述候选数据集中的每条标准数据之间的相似度；

基于所述待处理数据分别与所述候选数据集中的每条标准数据之间的相似度，从所述候选数据集中确定目标标准数据，并将所述目标标准数据确定为所述待处理数据的实体对齐结果。

一种可选实施方式中，所述获取待处理数据之后，还包括：

对所述待处理数据进行数据预处理；所述数据预处理包括下述一种或者多种：

删除除文字、除数字、和/或除字母外的所有信息；

对字母进行大小写统一转换。

一种可选实施方式中，采用下述方式构建所述商品标准数据库：

获取多条商品官方数据；每条所述商品官方数据中，均包括一项或者多项商品的属性信息；

基于所述商品官方数据中包括的属性信息，生成多条标准数据，并基于多条标准数据，构建所述商品标准数据库。

一种可选实施方式中，所述基于所述商品官方数据中包括的属性信息，生成多条标准数据，包括：

从各条商品官方数据包括的各项属性信息中，确定与目标属性对应的目标属性信息；

基于所述目标属性信息，生成与每条所述商品官方数据分别对应的标准数据；

所述目标属性包括：品牌、和/或商品种类。

一种可选实施方式中，所述基于所述待处理数据，从预先构建的商品标准数据库，筛选至少一条标准数据，包括：

基于所述待处理数据中包括与目标属性对应的目标属性信息，在所述商品标准数据库中确定至少一条标准数据，并基于所述至少一条标准数据，构建所述候选数据集；