[发明专利]一种学生发展档案大数据算法与分析系统

权利要求书

1.一种学生发展档案大数据算法，其特征在于：包括如下步骤：

1)离散化处理：从数据库中抽取数据，确定每一种标识对应的分类规则，并采用对应的分类规则对抽取的数据进行离散化处理；从所获取的数据库中抽取数据组成训练集；用所得的训练集训练哈希函数；

2)降维存储：对数据库中还没得到二进制代码的实例进行二进制编码；去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；消除数据中的不一致对象和冗佘对象，冗佘对象为条件属性相同而决策属性也相同的对象；确定神经元网络模型；

3)输出结果：训练神经元网络模型，并通过运行算法实现数据分析处理；对获取数据进行有效范围筛选的筛选，对筛选后数据进行权值分配，并对分配权值后数据进行融合后显示输出结果。

2.一种学生发展档案大数据分析系统，其特征在于：包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块，所述待调度任务生成模块用于根据预先定义的任务参数将收集的数据生成待调度的任务；所述任务调度模块具体包括：主任务调度组件和从任务调度组件；所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后，从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。

3.根据权利要求1所述的一种学生发展档案大数据算法，其特征在于：所述不一致对象是指条件属性相同而决策属性不同的对象。

4.根据权利要求1所述的一种学生发展档案大数据算法，其特征在于：所述数据库为MySQL数据库。

5.根据权利要求2所述的一种学生发展档案大数据分析系统，其特征在于：所述数据仓库服务器服务器为Apache服务器。

6.根据权利要求2所述的一种学生发展档案大数据分析系统，其特征在于：所述大数据的具体分析包括如下步骤：

1)任务生成：待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块；

2)任务处理：任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；

3)数据分析：所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。

7.根据权利要求6所述的一种学生发展档案大数据分析系统，其特征在于：所述根据加载的任务的任务类型调用相应的任务处理模块之前，还包括：所述任务处理模块将加载的任务封装到任务处理线程中；以及所述调用相应的任务处理模块具体为：所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块；所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为：所述任务调度模块将待调度的任务加载到调度栈；以及在所述任务调度模块将加载的任务封装到任务处理线程之前，还包括：所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间；从调度栈中取出任务执行时间到达的任务；在所述从调度栈中取出任务执行时间到达的任务之后，还包括：所述任务调度模块将从所述调度栈中取出的任务转换为任务实例，并将转换的任务实例封装为优先级对象，该优先级对象的优先级是根据该任务的任务属性确定的；所述任务调度模块将所述优先级对象发送到优先级队列模块；所述优先级队列模块在接收到优先级对象后，根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较，根据比较结果自动对该优先级对象进行排序；所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象；并初始化一个任务处理线程，将获取的优先级对象中的任务实例传至该任务处理线程中；以及，所述调用相应的任务处理模块具体为：该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。