[发明专利]一种应用于项目申报系统中的数据处理方法

说明书

本发明公开了一种应用于项目申报系统中的数据处理方法，其通过接收用户的申报请求和数据，根据各所述数据类型对应预设的数据处理规则，将申报数据分发到对应的所述数据类型的数据子处理请求；各数据子处理请求提交处理任务，提交请求动态到达；根据计算任务配置文件提供的Map子任务数和Reduce子任务数初始化任务状态各描述因子；在每个循环周期开始，综合本周期内的最新计算任务清单、计算任务当前状态；最终决策出最优放置矩阵，把最优放置矩阵提交给子任务调度器，各处理器接受子任务调度器的调度并执行各子任务。通过上述方法使得项目申报系统最大优化地进行数据处理，减少项目申报系统在处理数据时容易引起服务器宕机、系统崩溃、数据出错等问题。

技术领域

本申请涉及数据处理领域，特别涉及一种项应用于项目申报系统中的数据处理方法。

背景技术

现如今，信息化项目已深入到各行各业，信息系统已经成为办公学习的必不可少的工作，人们已经离不开各种各样的办公学习的信息化软件。其中，项目申报信息化平台也越来越广泛地受到用户的喜爱，其具有快速、高效、远程上传、远程审批等优点，大大缩短了项目申报过程中的精力和时间。但现有的项目申报系统在一个项目申报阶段，大批量的用户上传数据和文件，导致系统在处理数据时容易引起服务器宕机、系统崩溃，并且在更新数据时容易引起数据混淆出现数据错误，从而引起项目申报失败。

发明内容

本发明提供了一种应用于项目申报系统中的数据处理方法，目的在于减少项目申报系统在处理数据时容易引起服务器宕机、系统崩溃、数据出错等问题。

为了解决上述问题或至少部分地解决上述技术问题，在本申请的一个实施例中，提供了一种应用于项目申报系统中的数据处理方法，其特征在于，所述方法包括：

步骤101、接收用户的申报请求和申报数据，其中所述申报数据具有多种数据类型；

步骤102、根据各所述数据类型对应预设的数据处理规则，将申报数据分发到对应的所述数据类型的数据子处理请求；

步骤103、各数据子处理请求提交处理任务，提交请求动态到达；提交内容包括计算任务、用户需求、计算任务资源需求概况，所述提交内容被放入配置文件并一起提交；

步骤104、主节点接收提交请求，并把新到达的计算任务加入在线计算任务清单，根据计算任务配置文件中提供的Map子任务数和Reduce子任务数初始化任务状态各描述因子，分别表示此计算任务在执行中或被挂起的Map子任务数和Reduce子任务数；

步骤105、在每个循环周期开始，综合本周期内的最新计算任务清单、计算任务当前状态，首先由用户需求计算对新到达的计算任务估算其对应的Map子任务数和Reduce子任务数，初始化其值；

步骤106、把初始化后的值提交给资源计算器，由其根据启发式策略产生不同的放置矩阵并评估其效用值，最终决策出最优放置矩阵，把最优放置矩阵提交给子任务调度器，由其负责推行各处理器的实际资源放置调度工作；

步骤107、各处理器的接受子任务调度器的调度并执行各子任务，在执行各子任务过程中，随时把子任务的状态变更情况向计算任务状态更新器报告。

进一步的，所述数据处理方法还包括：

覆盖申报系统中的文件内容，更新后的申报数据通过应用程序端的语法分析机制提取出新增加的数据关联性；

通过在客户端检查文件扩展属性中数据关联性在文件内容中的偏移量和长度与新增加的数据部分是否存在重叠，判断是否存在被覆盖的数据关联性；

如果存在某些数据关联性属于被覆盖的数据部分，则在客户端缓存的文件元数据的扩展属性中直接删除无效的数据关联性即可完成更新操作。

进一步的，其中所述接收用户的申报请求包括：