[发明专利]基于Hadoop MapReduce的数据连接方法及装置

权利要求书

1.一种基于Hadoop MapReduce的数据连接方法，其特征在于，包括：

在第一类数据中的主键标识信息后面依次连接预设字符信息和时间信息，得到第一信息；

在第二类数据中的主键标识信息后面依次连接预设字符信息和与所述第一类数据中的时间信息的字符数相同的多个0，得到第二信息；

将所述第一信息和所述第二信息作为MapReduce的关键词key信息，根据MapReduce模型将第一类数据与第二类数据的数据进行连接，并将所述第一信息和所述第二信息中的主键标识信息作为分区partition信息，计算将第一类数据与第二类数据的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；

其中，所述第一类数据包括：主键标识信息和时间信息；所述第二类数据包括：主键标识信息；

所述第一类数据为车辆停靠数据表，所述第一类数据的主键标识信息为车辆id字段，所述第一类数据还包括：兴趣点POI停靠id信息；

所述第二类数据为车辆静态信息数据表，所述第二类数据的主键标识信息为车辆id字段，所述第二类数据还包括：车辆注册时间信息。

2.根据权利要求1所述的方法，其特征在于，所述第一类数据的主键标识信息与所述第二类数据的主键标识信息对应为同一信息。

3.根据权利要求2所述的方法，其特征在于，所述预设字符信息为逗号。

4.根据权利要求2所述的方法，其特征在于，所述第一类数据中的时间信息的字符数为6，所述多个0为000000。

5.一种基于Hadoop MapReduce的数据连接装置，其特征在于，包括：

第一连接模块，用于在第一类数据中的主键标识信息后面依次连接预设字符信息和时间信息，得到第一信息；

第二连接模块，用于在第二类数据中的主键标识信息后面依次连接预设字符信息和与所述第一类数据中的时间信息的字符数相同的多个0，得到第二信息；

连接排序模块，用于将所述第一信息和所述第二信息作为MapReduce的关键词key信息，根据MapReduce模型将第一类数据与第二类数据的数据进行连接，并将所述第一信息和所述第二信息中的主键标识信息作为分区partition信息，计算将第一类数据与第二类数据的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；

其中，所述第一类数据包括：主键标识信息和时间信息；所述第二类数据包括：主键标识信息；

所述第一类数据为车辆停靠数据表，所述第一类数据的主键标识信息为车辆id字段，所述第一类数据还包括：兴趣点POI停靠id信息；

所述第二类数据为车辆静态信息数据表，所述第二类数据的主键标识信息为车辆id字段，所述第二类数据还包括：车辆注册时间信息。

6.根据权利要求5所述的装置，其特征在于，所述第一类数据的主键标识信息与所述第二类数据的主键标识信息对应为同一信息。

7.根据权利要求6所述的装置，其特征在于，所述预设字符信息为逗号。

8.根据权利要求6所述的装置，其特征在于，所述第一类数据中的时间信息的字符数为6，所述多个0为000000。