[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取数据表对应的第一数据集，以及用于对所述第一数据集进行更新的第二数据集；

对比所述第一数据集与所述第二数据集中每一行数据对应的数据标识；

根据所述数据标识在所述第二数据集中对应的数据行更新所述第一数据集，且更新后的所述第一数据集中的数据行具有备注信息；

所述根据所述数据标识在所述第二数据集中对应的数据行更新所述第一数据集，且更新后的所述第一数据集中的数据行具有备注信息，包括：

在所述数据标识仅存在于所述第二数据集的情况下，根据所述数据标识在所述第二数据集中对应的数据行，在所述第一数据集中生成所述数据标识对应的新数据行，且所述新数据行具有备注信息；在所述新数据行的备注信息中记录所述数据标识在所述第二数据集中对应的一个或多个数据单元名；

在所述数据标识同时存在于所述第一数据集及所述第二数据集的情况下，对比所述数据标识对应的一个或多个数据单元名分别在所述第一数据集及所述第二数据集中对应的取值；在所述数据单元名在所述第一数据集及所述第二数据集中对应的取值不同的情况下，在所述备注信息中相对应地记录所述数据单元名、所述数据单元名在所述第一数据集中的取值、所述数据单元名在所述第二数据集中的取值，以更新所述数据标识在所述第一数据集中对应的数据行以及所述数据行的备注信息。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

在所述备注信息中使用预设的分隔符分隔一个或多个所述数据单元名以及所述数据单元名在第一数据集及所述第二数据集中对应的取值，且所述预设的分隔符仅存在于所述备注信息中。

3.根据权利要求2所述的数据处理方法，其特征在于，

根据所述预设的分隔符，使用正则匹配规则对所述备注信息进行搜索。

4.根据权利要求1-3任一所述的数据处理方法，其特征在于，

所述第一数据集存储于所述数据表的当前分区中；

在所述第一数据集更新后，将更新前的所述第一数据集中的一行或多行数据存储至所述数据表的历史分区中。

5.一种数据处理装置，其特征在于，包括：数据集获取模块、数据标识对比模块、数据集更新模块；其中，

所述数据集获取模块，用于获取数据表对应的第一数据集，以及用于对所述第一数据集进行更新的第二数据集；

所述数据标识对比模块，用于对比所述第一数据集与所述第二数据集中每一行数据对应的数据标识；

所述数据集更新模块，用于根据所述数据标识在所述第二数据集中对应的数据行更新所述第一数据集，且更新后的所述第一数据集中的数据行具有备注信息；

还用于在所述数据标识仅存在于所述第二数据集的情况下，根据所述数据标识在所述第二数据集中对应的数据行，在所述第一数据集中生成所述数据标识对应的新数据行，且所述新数据行具有备注信息；在所述新数据行的备注信息中记录所述数据标识在所述第二数据集中对应的一个或多个数据单元名；

还用于在所述数据标识同时存在于所述第一数据集及所述第二数据集的情况下，对比所述数据标识对应的一个或多个数据单元名分别在所述第一数据集及所述第二数据集中对应的取值；在所述数据单元名在所述第一数据集及所述第二数据集中对应的取值不同的情况下，在所述备注信息中相对应地记录所述数据单元名、所述数据单元名在所述第一数据集中的取值、所述数据单元名在所述第二数据集中的取值，以更新所述数据标识在所述第一数据集中对应的数据行以及所述数据行的备注信息。

6.根据权利要求5所述的数据处理装置，其特征在于，所述数据集更新模块，还用于，

在所述备注信息中使用预设的分隔符分隔一个或多个所述数据单元名以及所述数据单元名在第一数据集及所述第二数据集中对应的取值，且所述预设的分隔符仅存在于所述备注信息中。

7.根据权利要求6所述的数据处理装置，其特征在于，还包括：信息搜索模块；其中，

所述信息搜索模块，用于根据所述预设的分隔符，使用正则匹配规则对所述备注信息进行搜索。