[发明专利]基于MapReduce技术的大数据地址分层调度方法

说明书

本发明公开一种基于MapReduce技术的大数据地址分层调度方法,包括构建面向联系地址的调度表，确定业务地域范围，在Map阶段生成Key和Value，在Reduce阶段实现调度分析，逐层向下调度等步骤；本发明实现了面向联系地址的调度，联系地址向上可以扩展到国家甚至洲级地址，向下可以延伸至更精准位置，可支持按不同粒度的地址分层调度。

技术领域

本发明涉及一种数据处理方法，尤其涉及一种基于MapReduce技术的大数据地址分层调度方法。

背景技术

地址是指国家、省(自治区或者直辖市或者特别行政区)、市、区(县)、镇、街道门牌号(村组)，地址结构具有层次性，可用字符串表示地址，如通信地址、家庭住址、公司地址和单位地址等，现有的基于地址的算法有：磁盘调度、IP调度和GPS调度。

对于磁盘调度(先来先服务算法、最短寻道时间优先算法、扫描算法和循环扫描算法)，磁盘的物理块地址由柱面号、磁头号和扇区号构成。完成磁盘某一物理块的访问时间包括寻道时间、旋转时间和读写时间，磁盘调度的目标是寻道时间尽量短和吞吐量尽量大。地址，与磁盘的物理块地址(柱面磁头扇区)与不同，磁盘调度不适合本专利所述的大数据地址分层调度算法。

对于IP地址调度(IP数据报路由)，按照不同地址分配IP地址段。通过路由器中存储的路由表，将IP数据报转发到特定网络地址的路径(端口)。IP地址仅仅代表接入互联网的计算机身份，与本专利所述的联系地址(国家省市区镇街道门牌号)不同，IP地址调度算法不适合本专利所述的大数据地址分层调度算法。

对于GPS调度，其终端通过卫星天线接收到卫星信号，自动定位；终端通过GPRS模块将地址信息发送总控中心；总控中心利用互联网或者专网提取定位地址，并在电子地图中显示出来。GPS定位地址与本专利所述地址基本一致，但GPS定位的地址需要实时快速传给总控中心，由于定位地址的实时性要求，很难弱化实时性需求(甚至不考虑实时性需求)，不能积累定位数据生成大数据。

发明内容

本发明旨在提供一种基于MapReduce技术的大数据地址分层调度方法，实现了面向联系地址的调度，联系地址向上可以扩展到国家甚至洲级地址，向下可以延伸至更精准位置，可支持按不同粒度地址的分层调度。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开的基于MapReduce技术的大数据地址分层调度方法,包括以下步骤：

步骤1、构建面向联系地址的调度表，所述调度表的列族包括问题域的基本信息列族和调度列族，所述基本信息列族包括在Reduce阶段要处理的内容和大数据的相关联系地址列，所述调度列族包括被划分成粗略地址和详细地址列的联系地址，选取能区分大数据记录的字段作为调度表的行关键字，并将行关键字放到基本信息列族中；

步骤2、确定业务地域范围，初始化粗略地址和详细地址：根据问题域确定业务的地域范围，将联系地址的粗略地址和详细地址写入到调度表的调度列族的粗略地址和详细地址列中。

步骤3、在Map阶段生成Key和Value：将大数据联系地址的粗略地址赋值给Key，将行关键字+联系地址+要处理的内容赋值给Value。

步骤4、在Reduce阶段实现调度分析：根据Key和Value的联系地址，输出下一级地址划分的粗略地址和详细地址；

步骤5、逐层向下调度：初始化Job，建立调度表数据库的连接，将源表和目标表都初始化为调度表表，按大数据的相关联系地址逐层向下调度，直到最底层联系地址；否者，重复步骤3至步骤5。

优选的，所述粗略地址包括国家、省或自治区或直辖市或特别行政区、市或县，所述详细地址包括区或镇、街道、小区或门牌号。

优选的，在步骤3中，所述行关键字为订单号或客户ID号。