[发明专利]一种实现大数据处理的方法及装置

权利要求书

1.一种实现大数据处理的方法，其特征在于，包括：

在分布式系统基础架构hadoop外部环境，利用预先设置的拆分策略拆分hadoop总查询任务；

按照拆分的hadoop查询任务，在hadoop的分布式存储系统中分别进行hadoop内部查询；

将各内部查询结果按照预先设置的存储策略存储在hadoop外部环境；

通过hadoop外部查询方式对存储信息进行统计并显示。

2.根据权利要求1所述的方法，其特征在于，所述拆分策略包括：根据时间分布、和/或，查询用户流量使用类型进行查询拆分。

3.根据权利要求1所述的方法，其特征在于，所述进行统计的方法包括：

对各拆分任务的内部查询结果的每一页进行查询统计，并将各拆分任务每一页内部查询结果的查询统计信息进行合并，得到相应拆分任务的统计信息；

将相应拆分任务的统计信息进行合并，得到总查询任务的统计结果。

4.根据权利要求1所述的方法，其特征在于，所述按照存储策略存储在hadoop外部环境包括：

将内部查询结果按照存储策略分为：常态数据和非常态数据；

按照常态数据和非常态数据进行分级存储，

当内部查询结果是常态数据，当常态数据量大于hadoop外部环境的内存容量时，根据内存容量，首先，曾经访问过的查询页面保存在内存中，再将内部查询结果部分存入内存；剩余常态数据存入hadoop外部环境的硬盘中；当常态数据量小于hadoop外部环境的内存容量时，将所有内部查询结果存储在内存中；

当内部查询结果为非常态数据，将内部查询结果全部存储在外部环境的硬盘中。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：按照查询频率，设定删除周期以删除内部查询结果中的常态数据。

6.一种实现大数据处理的装置，其特征在于，设置于hadoop外部环境，包括：控制单元、任务拆分单元、分级存储单元、统计显示单元；其中，

控制单元，用于在接收到查询任务时，控制任务拆分单元进行任务拆分；控制分级存储单元对内部查询结果进行存储；控制统计显示单元对存储的内部查询结果进行统计及显示；

任务拆分单元，用于预先设置的拆分策略拆分hadoop总查询任务，发往hadoop内部进行数据查询；

分级存储单元，用于设置接收hadoop内部查询结果，按照存储策略存储在hadoop外部环境；

统计显示单元，用于通过查询指令对分级存储信息进行统计和显示。

7.根据权利要求6所述的装置，其特征在于，所述的拆分策略包括：根据时间分布、和/或，查询用户流量使用类型进行查询拆分。

8.根据权利要求6所述的装置，其特征在于，所述进行统计包括：

对各拆分任务的内部查询结果的每一页进行查询统计，并将各拆分任务每一页查询统计信息进行合并，得到相应拆分任务的统计信息；

将相应拆分任务的统计信息进行合并，得到总查询任务的统计结果。

9.根据权利要求6所述的装置，其特征在于，所述按照存储策略存储在hadoop外部环境包括：

将内部查询结果按照存储策略分为：常态数据和非常态数据；

按照常态数据和非常态数据进行分级存储，

当内部查询结果是常态数据，当常态数据量大于hadoop外部环境的内存容量时，根据内存容量，首先，曾经访问过的查询页面保存在内存中，再将内部查询结果部分存入内存；剩余常态数据存入hadoop外部环境的硬盘中；当常态数据量小于hadoop外部环境的内存容量时，将所有内部查询结果存储在内存中；

当内部查询结果为非常态数据，将内部查询结果全部存储在外部环境的硬盘中。

10.根据权利要求9所述的装置，其特征在于，该装置还包括删除单元，用于按照查询频率，设置删除周期以删除内部查询结果中的常态数据。