[发明专利]一种项目申报数据处理方法及装置

说明书

本发明公开了一种项目申报数据处理方法及装置，其通过将所述申报数据按照数据属性分解，根据分解得到的申报数据的目标数据源，从数据服务注册中心定位对应的数据处理服务；根据数据规则集，将数据处理分解为面向数据处理服务的子处理请求；将数据规则集分解为对应于各个子处理请求的多个不相交的规则子集；子处理请求和对应的规则子集派发给对应的数据处理服务，分别得到临时数据处理结果；将临时数据处理结果按照数据结果项的要求组装成最终数据处理结果。通过上述方法使得项目申报中的数据处理得到统一符合审核要求的数据，管理人员可以快速高效地处理审核；并且服务器多并行处理不会因此导致系统宕机。

技术领域

本申请涉及数据处理领域，特别涉及一种项目申报数据处理方法及装置。

背景技术

当今社会是一个信息化社会的时代，同时又是一个大数据时代；随着互联网、物联网、云计算和人工智能等信息技术和计算机产业的不断发展和进步，使得数据的处理成为一个亟待解决的问题。在项目申报领域，项目信息具有大数据复杂性特点，领域差别较大、数据类型繁杂、冗余数据较多，现有的申报系统智能简单地进行数据汇总，无法对数据进行处理得到有用的后台数据，项目评审人员面对冗余繁杂的各种大数据时，无法及时、高效地审核数据，导致积压项目文件越来越多，审核资源浪费以及审查时间增加；同时，现有的项目申报系统在申报用户过多时，容易引起系统崩溃、服务器宕机。

发明内容

本发明提供了一种项目申报数据处理方法及装置，目的在于高效整理申报数据、数据写入较快、系统不会崩溃、宕机。

为了解决上述问题或至少部分地解决上述技术问题，在本申请的一个实施例中，提供了一种项目申报数据处理方法，其特征在于，所述方法包括：

步骤101、接收用户的申报请求和申报数据，将所述申报数据按照数据属性分解，所述数据属性包括目标数据源、数据规则集、数据结果项；

步骤102、根据分解得到的申报数据的目标数据源，从数据服务注册中心定位对应的数据处理服务，其中所述数据处理服务具有多个；

步骤103、根据数据规则集，生成数据服务组合规则和结果组装规则；结合数据服务组合规则和结果组装规则，将数据处理分解为面向数据处理服务的子处理请求；

步骤104、将数据规则集分解为对应于各个子处理请求的多个不相交的规则子集；

步骤105、子处理请求和对应的规则子集派发给对应的数据处理服务；

步骤106、各数据处理服务并行执行数据处理任务，分别得到临时数据处理结果；

步骤107、按照数据服务组合规则和结果组装规则，将临时数据处理结果按照数据结果项的要求组装成最终数据处理结果。

进一步的，其中所述接收用户的申报请求包括：

申报请求服从参数为的泊松过程，队列具有长度限制L，当队满时，新到的申报请求将会被云服务系统丢弃；

全局调度器对申报请求的解析时间和虚拟机对申报请求的服务时间分别服从和1/σ的指数分布；其中，、σ均大于1；

全局调度器对申报请求的解析，把申报请求转化为虚拟机创建命令，当基础设施资源池中所有可用资源均已被占用时，虚拟机创建命令无法执行。

进一步的，其中所述接收用户的申报数据包括数据写入：

步骤201、将申报数据以追加写的形式写入一个写缓冲区中，并建立一个哈希表进行数据索引；哈希存储区的数据量达到一定量时，申报数据被发送到哈希存储区中进行排序操作，当排序操作完成后，哈希存储区中的申报数据将被删除；