[发明专利]一种应用于项目申报系统中的数据处理方法

权利要求书

1.一种应用于项目申报系统中的数据处理方法，其特征在于，所述方法包括：

步骤101、接收用户的申报请求和申报数据，其中所述申报数据具有多种数据类型；

步骤102、根据各所述数据类型对应预设的数据处理规则，将所述申报数据分发到对应的所述数据类型的数据子处理请求；

步骤103、各所述数据子处理请求提交处理任务，提交请求动态到达；提交内容包括计算任务、用户需求、计算任务资源需求概况，所述提交内容被放入配置文件并一起提交；

步骤104、主节点接收所述提交请求，并把新到达的所述计算任务加入在线计算任务清单，根据计算任务配置文件中提供的Map子任务数和Reduce子任务数初始化任务状态各描述因子，分别表示此计算任务在执行中或被挂起的所述Map子任务数和所述Reduce子任务数；

步骤105、在每个循环周期开始，综合本周期内的最新计算任务清单、计算任务当前状态，首先由用户需求计算对新到达的所述计算任务估算其对应的所述Map子任务数和所述Reduce子任务数，初始化其值；

步骤106、把初始化后的值提交给资源计算器，由其根据启发式策略产生不同的放置矩阵并评估其效用值，最终决策出最优放置矩阵，把所述最优放置矩阵提交给子任务调度器，由其负责推行各处理器的实际资源放置调度工作；

步骤107、各处理器的接受所述子任务调度器的调度并执行各子任务，在执行各子任务过程中，随时把所述子任务的状态变更情况向计算任务状态更新器报告。

2.根据权利要求1所述的一种应用于项目申报系统中的数据处理方法，其特征在于，所述数据处理方法还包括：

覆盖申报系统中的文件内容，更新后的申报数据通过应用程序端的语法分析机制提取出新增加的数据关联性；

通过在客户端检查文件扩展属性中数据关联性在文件内容中的偏移量和长度与新增加的数据部分是否存在重叠，判断是否存在被覆盖的数据关联性；

如果存在某些数据关联性属于被覆盖的数据部分，则在客户端缓存的文件元数据的扩展属性中直接删除无效的数据关联性即可完成更新操作。

3.根据权利要求1所述的一种应用于项目申报系统中的数据处理方法，其特征在于，其中所述接收用户的申报请求包括：

申报请求服从参数为的泊松过程，队列具有长度限制L，当队满时，新到的申报请求将会被云服务系统丢弃；

全局调度器对所述申报请求的解析时间和虚拟机对所述申报请求的服务时间分别服从和1/σ的指数分布；其中，、σ均大于1；

所述全局调度器对申报请求的解析，把所述申报请求转化为虚拟机创建命令，当基础设施资源池中所有可用资源均已被占用时，虚拟机创建命令无法执行。

4.根据权利要求1所述的一种应用于项目申报系统中的数据处理方法，其特征在于，其中所述接收用户的申报数据包括数据写入：

步骤201、将所述申报数据以追加写的形式写入一个写缓冲区中，并建立一个哈希表进行数据索引；哈希存储区的数据量达到一定量时，所述申报数据被发送到所述哈希存储区中进行排序操作，当排序操作完成后，所述哈希存储区中的所述申报数据将被删除；

步骤202、所述哈希存储区中缓存的所述申报数据将被划分成排序存储区中的M个数据块中，每个块中对所述申报数据进行排序；排序完成后，排序存储区将数据块发送到索引存储区中，构建索引子树，当索引子树构建完成后，排序存储区中的数据块将被删除；

步骤203、所述排序存储区的所述M个数据块发送到所述索引存储区中之后，对于每个数据块分别构建一个索引子树，然后将M个索引子树合并到索引存储区的索引树种，到索引树的数据量达到一定阈值时，新建一个新的索引树继续进行索引子树的合并操作。