[发明专利]基于大数据的任务分配方法和装置

权利要求书

1.一种基于大数据的任务分配方法，其特征在于，所述方法包括：

采用大数据组件sqoop获取数据库中存储的产品销售数据，其中，所述产品销售数据包括产品类型、所属城市和人群类型的字段；

将所述产品销售数据以数据表的形式写入大数据组件hive中；

基于预设的数据处理规则，将所述大数据组件hive中存储的所述产品销售数据进行数据标准化处理，得到目标销售数据；

采用预设的结构化查询语句查询所述目标销售数据，根据所述目标销售数据得到不同类型的产品在不同城市的不同类型人群中的统计销售数据，其中，所述预设的结构化查询语句包括所述产品类型、所述所属城市和所述人群类型的查询字段，所述统计销售数据包括销售总数和宣传总数；

采用预设的计算执行脚本，根据所述销售总数计算得到不同类型的产品在不同城市的不同类型人群中的第一宣传任务量，根据所述宣传总数和所述销售总数计算得到不同类型的产品在不同城市的不同类型人群中的第二宣传任务量，并根据所述第一宣传任务量和所述第二宣传任务量确定目标宣传任务量，其中，所述目标宣传任务量为所述第一宣传任务量和所述第二宣传任务量中数值较小的值；

其中，所述预设的数据处理规则包括去除/补全规则和去除/修改规则，所述基于预设的数据处理规则，将所述大数据组件hive中存储的所述产品销售数据进行数据标准化处理，得到目标销售数据，包括：

执行与所述去除/补全规则对应的脚本文件，对所述大数据组件hive中存储的所述产品销售数据进行校验，根据所述产品销售数据的缺失情况去除/补全所述产品销售数据，其中，所述缺失情况通过所述产品销售数据中字段的缺失比例确定，所述与所述去除/补全规则对应的脚本文件基于所述产品销售数据中字段的缺失比例实现校验；

执行与所述去除/修改规则对应的脚本文件，对所述大数据组件hive中存储的所述产品销售数据进行校验，根据所述产品销售数据的格式或内容的异常情况去除/修改所述产品销售数据，其中，所述产品销售数据的格式或内容的异常情况根据预先设置的格式规范和内容要求确定，所述与所述去除/修改规则对应的脚本文件基于预先设置的格式规范和内容要求实现校验；

根据用户输入的非需求数据确认指令，去除无需统计的所述产品销售数据。

2.根据权利要求1所述的方法，其特征在于，所述采用预设的结构化查询语句查询所述目标销售数据，根据所述目标销售数据得到不同类型的产品在不同城市的不同类型人群中的统计销售数据，其中，所述预设的结构化查询语句包括所述产品类型、所述所属城市和所述人群类型的查询字段，所述统计销售数据包括销售总数和宣传总数，包括：

采用大数据组件hive的结构化查询语言，以所述所属城市作为查询字段遍历查询每一座城市；

每查询一座城市时，采用大数据组件hive的结构化查询语言，以所述人群类型为查询字段遍历查询城市中的每一类人群类型；

每查询一类人群类型时，采用大数据组件hive的结构化查询语言，以所述产品类型作为查询字段遍历查询人群类型中每一产品类型，统计每一产品类型的销售总数和宣传总数，得到不同类型的产品在不同城市的不同人群类型中的统计销售数据。

3.根据权利要求1或2所述的方法，其特征在于，所述采用预设的计算执行脚本，根据所述销售总数计算得到不同类型的产品在不同城市的不同类型人群中的第一宣传任务量，包括：

查询预设的数据表，根据用户输入的城市的划分等级的查询标识和产品销售相关的政策的查询标识，获取所述数据表中存储的城市的划分等级所对应的第一权重参数和产品销售相关的政策所对应的第二权重参数；

采用预设的计算执行脚本，执行所述第一宣传任务量的计算，根据所述销售总数、所述第一权重参数和所述第二权重参数计算得到不同类型的产品在不同城市的不同人群类型中销售的第一宣传任务量，其中，所述第一宣传任务量的计算公式为T₁＝S*w₁*w₂*a，其中，S为销售总数，w₁为第一权重参数，w₂为第二权重参数，a为调整因子，所述调整因子与销售总数存在预设的对应关系，由销售总数决定。