[发明专利]数据归一化方法、用户画像提供方法、设备及存储介质

说明书

本发明提供一种数据归一化方法、用户画像提供方法、设备及存储介质，所述数据归一化方法包括：S110：自n个数据源采集用户i的人口属性j的数据取值；S120：判断人口属性j的属性类型；S130：若所述人口属性j为连续型，则采用相关性加权均值法计算用户i的人口属性j的归一化值：S140：若所述人口属性j为离散型，则采用贝叶斯投票法计算用户i的人口属性j的归一化值。本发明提供的方法和设备在做跨数据源的数据归一时，充分考虑了不同数据源的差异性，对于不同数据源赋予了不同的权值，针对均值法和投票法分别采用了相关性加权和贝叶斯方法，对权值进行了合理的分配，平衡不同数据源可能存在的问题，得到最合理的一个人口属性跨数据源归一值。

技术领域

本发明涉及数据查询领域，尤其涉及一种数据归一化方法、用户画像提 供方法、设备及存储介质。

背景技术

在企业实际应用场境中，面对同一个自然人，其人口属性特征往往在不 同来源的数据中存在，而且其属性特征在不同数据源中存在差异，这样的情 况是非常普遍。造成的原因大致有以下几种：1)对于原始数据源中的属性特 征来自实际收集的情况，可能采样和收集存在误差，这是原始数据的数据来 源存在的问题；2)对于原始数据源中的属性特征来自算法预测的情况，不同 算法的预测结果均存在误差，这是得到原始数据的算法存在的问题。因此， 在面对不同数据源中的人口属性存在差异的情况，如何做好数据的归一化就 是一个非常重要的问题。

现有的技术方案，通常把该问题当作一个普遍情况下的数据清洗的问题， 采用的方法一般为投票法以及均值法：

1)均值法，对不同来源的数据取平均值，具体计算方法如下：

假设用户i的j属性来自k数据源的查询结果为x_ijk，方案希望得到的该 用户j属性归一化的值为则

2)投票法，具体计算方法如下：

假设用户i的j属性的在不同数据来源的取值集合为{a_ij1,a_ij2,a_ij3...a_ijn}，计数函数为count()，该用户j属性归一化的值为则

上述的现有技术，其最大的问题在于没有考虑不同数据源本身的数据质 量问题。来自不同数据源的数据本身数据质量存在差异，在做归一算法的时 候如果不考虑不同数据源的数据质量就会把质量差的数据所带的信息纳入到 最后的结果中，另外简单的均值法极易受到极端值的影响，如果某个数据源 的数据是偏离程度比较大的，那来自这个数据源的数据会极大程度上对最后 的结果造成影响。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种数据归一化方法、 用户画像提供方法、设备及存储介质，在做跨数据源的数据归一时，充分考 虑了不同数据源的差异性，对于不同数据源赋予了不同的权值，针对均值法 和投票法分别采用了相关性加权和贝叶斯方法，对权值进行了合理的分配， 平衡不同数据源可能存在的问题，得到最合理的一个人口属性跨数据源归一 值。

本发明提供一种跨数据源人口属性的数据归一化方法，包括：

S110：自n个数据源采集用户i的人口属性j的数据取值，n为大于等于 2的整数；

S120：判断人口属性j的属性类型；

S130：若所述人口属性j为连续型，则按如下步骤S131至S133计算用 户i的人口属性j的归一化值：

S131：使n个数据源中每一数据源采集的人口属性j的连续型数据值形 成一列数据向量x_jk，其中，该列数据向量x_jk的行数为数据源k中的用户数 量，k为大于等于1小于等于n的整数；

S132：计算该列数据向量的相关系数矩阵；