[发明专利]数据处理方法及装置、存储介质和电子设备

说明书

本发明公开了一种数据处理方法及装置、存储介质和电子设备，涉及计算机技术领域。该数据处理方法包括：根据目标对象的各数据源的数据源置信度和各数据源中的同一字段的字段置信度，获得各数据源中的同一字段的综合置信度；根据各数据源中的同一字段的综合置信度和各数据源间的同一字段的相似度，获得各数据源中的同一字段的融合置信度。本发明可以通过多数据源中的字段的综合置信度和不同数据源间的字段的相似度获得不同数据源中的字段的融合置信度，从而可以实现对不同数据源中同一字段的可靠性评估。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据处理方法、数据处理装置、存储介质和电子设备。

背景技术

随着互联网媒介的蓬勃发展，大数据正在成为知识和财富挖掘的矿产。网络化打破了传统信息传输渠道的单一性，数据来源多样性和数据结构差异性已成为大数据的基本特征，大数据融合已成为构建事件或客户画像的基本方式。

数据来源的多样性是大数据的基本特征，由于这些数据源以及数据源中的数据的可靠性往往是不相同的，尽管大数据分析方法以及各种开放性算法库已经非常多，但是目前并未解决可信程度不同的数据源的数据融合计算问题。

鉴于此，需要一种数据处理方法、数据处理装置、存储介质和电子设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种数据处理方法、数据处理装置、存储介质和电子设备，进而至少在一定程度上克服由于数据的来源多样性、不同数据源的数据的可信程度不同而造成数据融合不准确的问题。

根据本发明的一个方面，提供一种数据处理方法，包括：根据目标对象的各数据源的数据源置信度和各数据源中的同一字段的字段置信度，获得各数据源中的同一字段的综合置信度；根据各数据源中的同一字段的综合置信度和各数据源间的同一字段的相似度，获得各数据源中的同一字段的融合置信度。

可选地，根据各数据源中的同一字段的综合置信度和各数据源间的同一字段的相似度，获得各数据源中的同一字段的融合置信度，包括：确定各数据源中的第一数据源的同一字段作为第一基准字段；计算各数据源中的同一字段与所述第一基准字段之间的相似度；根据各数据源中的同一字段的综合置信度和各数据源中的同一字段与所述第一基准字段之间的相似度，获得所述第一基准字段的融合置信度。

可选地，确定各数据源中的第一数据源的同一字段作为第一基准字段，包括：选择各数据源中同一字段的综合置信度最高的数据源作为所述第一数据源，且所述第一数据源的同一字段作为所述第一基准字段。

可选地，根据各数据源中的同一字段的综合置信度和各数据源中的同一字段与所述第一基准字段之间的相似度，获得所述第一基准字段的融合置信度，包括：对各数据源中的同一字段的综合置信度和各数据源中的同一字段与所述第一基准字段之间的相似度加权求和获得所述第一基准字段的融合置信度。

可选地，根据目标对象的各数据源的数据源置信度和各数据源中的同一字段的字段置信度，获得各数据源中的同一字段的综合置信度，包括：将各数据源的数据源置信度与相应数据源中的同一字段的字段置信度的乘积作为各数据源中的同一字段的综合置信度。

可选地，所述方法还包括：根据所述目标对象的唯一标识获取包括所述目标对象相关信息的多个数据源；获得各数据源的数据源置信度；获得各数据源中的各字段的字段置信度。

可选地，所述方法还包括：对各数据源的数据源置信度进行归一化；和/或对各数据源中的各字段的字段置信度进行归一化。