[发明专利]一种基于kettle的大数据比对方法及装置

权利要求书

1.一种基于kettle的大数据比对方法，其特征在于，包括：

获取数据比对请求；

从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录，并将所述至少一个源数据记录存储至预设内存中；

从预设的目标数据库中获取与所述数据比对请求相对应的至少一个目标数据记录，并将所述至少一个目标数据记录存储至所述预设内存中；

在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对。

2.根据权利要求1所述的方法，其特征在于，

在所述在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对之后，进一步包括：

根据所述预设内存中的比对结果，对所述目标数据库中的所述至少一个目标数据记录进行处理。

3.根据权利要求2所述的方法，其特征在于，

所述在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对，以及所述根据所述预设内存中的对比结果，对所述目标数据库中的所述至少一个目标数据记录进行处理，包括：

针对每一个所述源数据记录，均执行：

确定所述源数据记录对应的第一主键；

确定所述至少一个目标数据记录分别对应的至少一个第二主键中，是否存在与所述第一主键相同的目标第二主键，如果是，根据所述源数据记录，对所述目标数据库中的与所述目标第二主键相对应的目标数据记录进行更新，否则，将所述第一主键对应的所述源数据记录插入至所述目标数据库中。

4.根据权利要求1所述的方法，其特征在于，

在所述从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录之前，进一步包括：

利用kettle的任务设计界面，创建数据同步作业；

所述从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录，包括：

执行所述数据同步作业，以根据kettle的表输入组件中预设的源数据连接，对所述源数据库进行查询，得到所述至少一个源数据记录。

5.根据权利要求4所述的方法，其特征在于，

所述从预设的目标数据库中获取与所述数据比对请求相对应的至少一个目标数据记录，包括：

执行所述数据同步作业，以根据kettle的表输出组件或插入更新组件中预设的目标数据库连接，对所述目标数据库进行查询，得到所述至少一个目标数据记录。

6.一种基于kettle的大数据比对装置，其特征在于，包括：请求获取单元、源数据获取单元、目标数据获取单元和数据比对单元；其中，

所述请求获取单元，用于获取数据比对请求；

所述源数据获取单元，用于从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录，并将所述至少一个源数据记录存储至预设内存中；

所述目标数据获取单元，用于从预设的目标数据库中获取与所述数据比对请求相对应的至少一个目标数据记录，并将所述至少一个目标数据记录存储至所述预设内存中；

所述数据比对单元，用于在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对。

7.根据权利要求6所述的装置，其特征在于，

所述数据比对单元，进一步用于根据所述预设内存中的比对结果，对所述目标数据库中的所述至少一个目标数据记录进行处理。

8.根据权利要求7所述的装置，其特征在于，

所述数据比对单元，用于针对每一个所述源数据记录，均执行：确定所述源数据记录对应的第一主键；确定所述至少一个目标数据记录分别对应的至少一个第二主键中，是否存在与所述第一主键相同的目标第二主键，如果是，根据所述源数据记录，对所述目标数据库中的与所述目标第二主键相对应的目标数据记录进行更新；否则，将所述第一主键对应的所述源数据记录插入至所述目标数据库中。