[发明专利]基于微服务的大数据管理和挖掘系统

权利要求书

1.基于微服务的大数据管理和挖掘系统，其特征在于，包括：网关模块，微服务模块和数据库模块；

其中网关模块用于与用户终端建立通信连接；其中用户终端用于通过网关模块访问微服务模块，或将采集到的调研问卷数据通过网关模块传输到微服务模块；

微服务模块包括数据管理单元和分析处理单元；其中数据管理单元用于对获取的调研问卷数据进行预处理，并将预处理后的调研问卷数据分类录入到数据库模块；分析处理单元用于调用大数据分析引擎，对数据库模块中存储的调研问卷数据进行挖掘分析处理，输出相应的大数据分析结果到用户终端；

数据库模块，用于对调研问卷数据进行分类存储；

所述网关模块包括验证单元；

验证单元用于对所述用户终端的接入请求进行验证，当验证通过后允许用户终端通过网关模块接入所述微服务模块；

所述用户终端包括访问终端和信息录入终端；

访问终端用于访问所述微服务模块中的所述分析处理单元，通过调用分析处理单元获取相应的大数据分析结果；

信息录入终端用于采集所述调研问卷数据，并将采集到的调研问卷数据发送到微服务模块中的所述数据管理单元，由数据管理单元对该调研问卷数据进行预处理后分类录入到所述数据库模块；

所述信息录入终端包括通信单元，以及扫描单元和扫描增强单元；

扫描单元用于对调研对象已填写的纸质调研问卷进行扫描，获取相应的调研问卷图像；

扫描增强单元用于对获取的调研问卷图像进行预处理，输出预处理后的调研问卷图像；

通信单元与所述网关模块建立通信连接，用于将获取的预处理后的调研问卷图像通过所述网关模块发送到所述数据管理单元；

其中，微服务模块包括识别单元，识别单元用于针对获取的调研问卷图像转化为 相应的文字信息，从而形成数据化的调研问卷信息进行分类存储；

扫描增强单元对获取的调研问卷图像进行预处理，包括：

将获取的调研问卷图像转化为灰度图像；

针对获取的灰度图像，计算图像中各位置的区域密集度因子，其中采用的区域密集度因子计算函数为：

式中，γ(x,y)表示像素点(x,y)的区域密集度因子，其中Φ2表示以像素点(x,y)为中心像素点的5×5范围内的像素点集合，β(i,j)表示像素点集合Φ2中的像素点(i,j)的密集参数，其中Φ1表示以像素点(i,j)为中心像素点的10×10范围内的像素点集合，σ_Φ1(i,j)表示集合Φ1中像素点的灰度方差，σ_Φ1-max(A)表示灰度图像中以各像素点为中心的10×10范围内的像素点的灰度方差的最大值，h(i,j)表示像素点(i,j)的灰度值，P_5-max(A)表示对灰度图像中各像素点的灰度值进行直方图统计，灰度直方图中连续5个灰度级h＝{h′-2,h′-1,h′,h′+1,h′+2}所包含的像素点个数最多的该连续5个灰度级中的灰度级中值h′；ω₁和ω₂分别表示设定的调节因子；

根据获取的各像素点的区域密集度因子，对灰度图像进行亮度增强处理，包括：

将灰度图像转换到Lab颜色空间，分别获取图像的亮度分量L、颜色分量a和颜色分量b；

针对获取的亮度分量L，对图像中各像素点的亮度分量值进行增强调节，获取增强调节后的亮度分量其中采用的亮度增强调节函数为：

式中，表示增强调节后像素点(x,y)的亮度分量值，γ(x,y)表示像素点(x,y)的区域密集度因子，γ_T表示设定的区域密度因子门限值，L_b表示设定的第一基准亮度值，其中L_b∈[65,70]，L(x,y)表示像素点(x,y)的亮度分量值，L_c表示设定的第二基准亮度值，其中L_c∈[15,25]；

根据增强调节后的亮度分量以及颜色分量a和颜色分量b进行重构，输出预处理后的调研问卷图像。

2.根据权利要求1所述的基于微服务的大数据管理和挖掘系统，其特征在于，所述数据管理单元包括数据清洗单元和数据筛选单元；

数据清洗单元用于对获取的所述调研问卷数据进行错误值修正、缺失值处理、重复数据删除和数据格式化的处理；

数据筛选单元用于对调研问卷数据进行分类标定处理。