[发明专利]基于MapReduce技术的大数据地址分层调度方法

权利要求书

1.基于MapReduce技术的大数据地址分层调度方法,其特征在于，包括以下步骤：

步骤1、构建面向联系地址的调度表，所述调度表的列族包括问题域的基本信息列族和调度列族，所述基本信息列族包括在Reduce阶段要处理的内容和大数据的相关联系地址列，所述调度列族包括被划分成粗略地址和详细地址的联系地址，选取能区分大数据记录的字段作为调度表的行关键字，并将行关键字放到基本信息列族中；

步骤2、确定业务地域范围，初始化粗略地址和详细地址：根据问题域确定业务的地域范围，将联系地址的粗略地址和详细地址写入到调度表的调度列族的粗略地址和详细地址列中；

步骤3、在Map阶段生成Key和Value：将大数据联系地址的粗略地址赋值给Key，将行关键字+联系地址+要处理的内容赋值给Value；

步骤4、在Reduce阶段实现调度分析：根据Key和Value的联系地址，输出下一级地址划分的粗略地址和详细地址；

步骤5、逐层向下调度：初始化Job，建立调度表数据库的连接，将源表和目标表都初始化为调度表表，按大数据的相关联系地址逐层向下调度，直到最底层联系地址；否者，重复步骤3至步骤5。

2.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：所述粗略地址包括国家、省或自治区或直辖市或特别行政区、市或县，所述详细地址包括区或镇、街道、小区或门牌号。

3.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：在步骤3中，所述行关键字为订单号或客户ID号。

4.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：所述调度表HBase调度表。

5.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：在步骤1中，对于已有大数据，利用ETL工具将大数据导入到调度表。

6.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：当业务面向全球时，选取联系地址的国家地址为粗略地址，联系地址剩余部分为详细地址。

7.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：当业务在国内时，选取联系地址的省或自治区或直辖市或特别行政区为粗略地址，联系地址剩余部分为详细地址。

8.根据权利要求1所述的基于MapReduce技术的大数据地址分层调度方法，其特征在于：所述详细地址包括货位号；所述要处理的内容包括存货量。