[发明专利]一种学生发展档案大数据算法与分析系统

说明书

技术领域

本发明涉及大数据算法与分析系统技术领域，具体为一种学生发展档案大数据算法与分析系统。

背景技术

随着计算机、互联网的快速发展，其在各个领域的应用也在逐渐加大加深，现在，几乎每个领域、每个人都离不开计算机和互联网。其不断地改变着人们的工作方式、交流方式、学习方式以及生活的各个方面。计算机和互联网也在逐渐改变着学校的教学管理等方式，从以前的粉笔头和黑板到现在的投影仪和PPT，其对教育教学的大环境影响重大。但目前主要涉及关于教育教学系统，档案系统包括维护学生成长信息和浏览学生成长档案。主要对学生成长发展的维护和管理，促进学生全面发展，对于学生起着至关重要的作用，该系统主要使用用户有：学生、家长及教师。通过本系统能够使学生从小到大、从学习到生活很立体的呈现在面前，这些都是大数据，普通的数据算法和分析系统以不能满足现在的学生发展档案的计算和分析。

所以，如何设计种学生发展档案大数据算法与分析系统，成为我们当前要解决的问题

发明内容

本发明提供一种学生发展档案大数据算法与分析系统，由于在数据分析系统的底层利用Hadoop系统进行数据分析，而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理，从而既可以利用Hadoop系统简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统，以及能够从大量无序、潜在的信息中获得有效信息，通过对数据离散处理、降维存储，能够有效提高数据处理效率，具有处理量大、效率高等显著的优点，进而可以快速的处理学生发展档案大数据，可以有效解决上述背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种学生发展档案大数据算法，包括如下步骤：

1)离散化处理：从数据库中抽取数据，确定每一种标识对应的分类规则，并采用对应的分类规则对抽取的数据进行离散化处理；从所获取的数据库中抽取数据组成训练集；用所得的训练集训练哈希函数；

2)降维存储：对数据库中还没得到二进制代码的实例进行二进制编码；去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；消除数据中的不一致对象和冗佘对象，冗佘对象为条件属性相同而决策属性也相同的对象；确定神经元网络模型；

3)输出结果：训练神经元网络模型，并通过运行算法实现数据分析处理；对获取数据进行有效范围筛选的筛选，对筛选后数据进行权值分配，并对分配权值后数据进行融合后显示输出结果。

根据上述技术方案，包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块，所述待调度任务生成模块用于根据预先定义的任务参数将收集的数据生成待调度的任务；所述任务调度模块具体包括：主任务调度组件和从任务调度组件；所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后，从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。

根据上述技术方案，所述不一致对象是指条件属性相同而决策属性不同的对象。

根据上述技术方案，所述数据库为MySQL数据库。

根据上述技术方案，所述数据仓库服务器服务器为Apache服务器。

根据上述技术方案，所述大数据的具体分析包括如下步骤：

1)任务生成：待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块；

2)任务处理：任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；

3)数据分析：所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。