[发明专利]基于Hadoop MapReduce的数据连接方法及装置

说明书

本发明提供基于Hadoop MapReduce的数据连接方法及装置，方法包括：在第一类数据的主键标识信息后面依次连接预设字符信息和时间信息得到第一信息；在第二类数据的主键标识信息后面依次连接预设字符信息和与第一类数据的时间信息字符数相同的多个0得到第二信息；将第一、二信息作为MapReduce的key信息，根据MapReduce模型将第一、二数据表的数据进行连接，并将第一、二信息中的主键标识信息作为partition信息，计算将第一、二数据表的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；其中，第一类数据包括：主键标识信息和时间信息；第二类数据包括：主键标识信息。该方法可减少连接操作时内存的使用，增加数据处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Hadoop MapReduce的数据连接方法及装置。

背景技术

目前，大数据的组织与处理主要是经由分布式文件处理系统来完成，主流的技术是Hadoop开源平台，它提供分布式文件处理系统(Hadoop Distributed File System，简称HDFS)以及分布式计算框架MapReduce，分别作为大数据的存储和处理的框架。Hadoop的MapReduce处理技术已被大数据业界广泛接受，每天处理着各种各样的海量数据。为提高Hadoop的处理效率和能力，很多开发者不断对其进行改进。

在现有Hadoop MapReduce的数据连接(join)方法中，举例来说，如图1所示，需要将车辆停靠数据A表和车辆静态信息数据B表做join操作。由于A表是停靠数据，数据量大，且会动态增加，而B表是车辆的静态数据，数据量少且固定。所以做连接操作的计算时将B表数据使用字典缓存在内存中。使用时候，从字典中读取。该操作会受到内存大小的影响，因为静态数据量越大使用的内存也就越大。当可分配内存小于数据存储所需空间时，该计算失败。

鉴于此，如何减少Hadoop MapReduce的数据连接(join)操作时内存的使用，增加数据处理效率成为目前需要解决的技术问题。

发明内容

为解决上述的技术问题，本发明提供一种基于Hadoop MapReduce的数据连接方法及装置，能够减少Hadoop MapReduce的数据连接(join)操作时内存的使用，增加数据处理效率。

第一方面，本发明提供一种基于Hadoop MapReduce的数据连接方法，包括：

在第一类数据中的主键标识信息后面依次连接预设字符信息和时间信息，得到第一信息；

在第二类数据中的主键标识信息后面依次连接预设字符信息和与所述第一类数据中的时间信息的字符数相同的多个0，得到第二信息；

将所述第一信息和所述第二信息作为MapReduce的关键词key信息，根据MapReduce模型将第一类数据与第二类数据的数据进行连接，并将所述第一信息和所述第二信息中的主键标识信息作为分区partition信息，计算将第一类数据与第二类数据的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；

其中，所述第一类数据包括：主键标识信息和时间信息；所述第二类数据包括：主键标识信息。

可选地，所述第一类数据的主键标识信息与所述第二类数据的主键标识信息对应为同一信息。

可选地，所述预设字符信息为逗号。

可选地，所述第一类数据中的时间信息的字符数为6，所述多个0为000000。

可选地，所述第一类数据为车辆停靠数据表，所述第一类数据的主键标识信息为车辆id字段，所述第一类数据还包括：兴趣点POI停靠id信息；