[发明专利]一种基于谓词的多源数据集清洗方法

权利要求书

1.一种基于谓词的多源数据集清洗方法，其特征在于，包括步骤：

(1)构建谓词模型：定义优先级谓词、状态谓词和交互谓词；其中，

优先级谓词：对于属性A_i和A_j，如果p_score(A_i)＜p_score(A_j)，则定义一个优先级谓词Prior(A_i，A_j)，表示属性A_i的优先级p_score(A_i)高于属性A_j的优先级p_score(A_j)；其中，H(A_i)表示属性A_i的香农熵，p_n(A_i)表示属性A_i的所有属性值中null值的比例；

状态谓词为：其中，t_i表示语句i，表示语句i中属性A_k的属性值，表示预定义的与之间满足的条件，φ(t_i，t_j)表示预定义的t_i与t_j之间满足的条件；Stat(A_k)表示当t_i和t_j满足条件P和φ时，t_i的质量高于t_j；

交互谓词为：Inter_δ(A₁，…，A_l)，表示当数据满足条件δ时，该条数据的属性A₁，…，A_l的属性值质量差；

(2)通过步骤(1)定义的谓词模型对待清洗的数据集进行谓词挖掘，得到数据集中的优先级谓词、状态谓词和交互谓词；

(3)根据得到的谓词推导数据集中各数据的属性值可信度，包括步骤：

(3-1)初始化数据集中数据的所有属性值可信度为0，并为每一条数据的各属性值设置影响因子η，η为一个常数；

(3-2)运用状态谓词和交互谓词更新每条数据各属性值的可信度，更新时，先运用状态谓词更新再运用交互谓词更新，或先运用交互谓词更新再运用状态谓词更新；

运用状态谓词更新数据各属性值的可信度的步骤为：两两枚举数据集中的两条数据t_i和t_j，如果t_i和t_j在属性A_k上满足状态谓词：则将属性值的可信度减去η；

运用交互谓词更新数据各属性值的可信度的步骤为：遍历数据集中的所有数据，如果一条数据满足某个交互谓词Inter_δ(A₁，…，A_l)，则将该条数据属性A₁，…，A_l的属性值的可信度减去η；

(3-3)在步骤(2)完成后，运用优先级谓词更新每条数据的属性值可信度，更新时，按照优先级从高到低的顺序依次执行优先级谓词；

执行优先级谓词Prior(A_i，A_j)的步骤为：若多条数据在属性A_j上的属性值的可信度相同，则将它们按照A_i的属性值可信度做升序排序，按照排序后的顺序，在排在第n位的数据的A_j的属性值可信度上加上n-1；

(3-4)得到所有属性值的可信度后，对于多值属性，返回所有可信度大于等于预设阈值的属性值作为结果；对于只需要返回一个结果的属性，执行步骤(4)至(6)；

(4)将所有属性值的可信度进行归一化；根据公式计算待清洗数据集中所有数据源的可信度；其中，λ_i表示数据源D_i的可信度，t表示数据源D_i中的一条数据，d(t)表示数据t的可信度，数据t的可信度等于该条数据所有属性值可信度之和；

(5)根据公式λ_k更新各属性值的可信度，D’表示对于属性A_j提供属性值的数据源；更新后返回步骤(4)；

(6)重复执行步骤(4)至(5)，直至所有属性值的可信度收敛；对于只需返回一个结果的属性，找出该属性下可信度最高的属性值为最终结果。