[发明专利]一种职业能力的数据汇总方法

说明书

本发明公开一种职业能力的数据汇总方法，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储。本发明适用于大规模并发数据的传输、计算和存储，从而实现大量且各个端口的就业数据的高效汇总。

技术领域

本发明属于数据处理技术领域，特别是涉及一种职业能力的数据汇总方法。

背景技术

随着互联网的迅猛发展，信息的互通性也越来越广泛。就业数据具有分散广、数据信息量大等特征，通常就业数据需要从各种端口进行采集后再进行汇总；在进行就业大数据汇总时，需要面对数据并发量高的问题。

现有的数据汇总方式中，在面对大量用户对系统请求后，将会造成网络带宽和WEB服务器的I/O瓶颈；在接收大量用户请求进行计算，将会造成业务服务器和业务支撑服务器的瓶颈；传输层和计算层将会产生大量的数据，数据量暴增，将会导致数据库和储存上的瓶颈；在面对大量用户访问、高并发请求方面，无法进行高效的数据传输、计算和存储。

发明内容

为了解决上述问题，本发明提出了一种职业能力的数据汇总方法，适用于大规模并发数据的传输、计算和存储，从而实现大量且各个端口的就业数据的高效汇总。

为达到上述目的，本发明采用的技术方案是：一种职业能力的数据汇总方法，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储；

包括步骤：

S100，获取来自不同终端的就业数据，对所述就业数据进行传输分析，就业数据在网络链路出口分类进入传输通道，对用户请求进行压力分载；

S200，将接收到的就业数据在计算层中分别对就业数据进行身份整合和数据整合；

S300，将整合后的就业数据存储在数据库的就业数据区域，所述就业数据区域包括身份认证区域和数据存储区域。

进一步的是，所述步骤S100包括步骤：

S101，从各个终端获取就业数据；

S102，将不同终端的就业数据进行数据分析，得到数据的分类属性；

S103，根据分类属性，将同一类别的数据分配到相应的传输通道；

S104，对用户请求进行压力分载，将用户请求分发到不同的网络服务器上。

进一步的是，将就业数据中的图片数据与页面数据进行分离，建立页面访问请求服务器和独立的图片服务器，来降低提供页面访问请求服务器的压力。

进一步的是，在数据库的身份认证区域中设置有用户基础数据数据库，为就业数据进行身份认证提供基础认证数据；用户基础数据统一存储在用户基础数据数据库中，能够为身份认证提供基础数据，保证用户认证高效运行。

进一步的是，在身份整合过程中，使用认证协议进行用户身份认证和单点登录；能够满足大量用户的统一运行和管理，提高了操作效率。

进一步的是，所述认证协议从结构上包括用户端和认证中心，所述认证中心进行认证工作，所述用户端处理对用户端访问受限资源的访问请求；当用户端检测到用户登录访问后，将用户信息进入认证中心进行用户认证。

进一步的是，为保证大量并行数据在计算层的高效运行，所述数据整合，对数据进行分布式分配、分层缓存和分层中转；

通过分布式算法对海量的就业数据进行处理，将计算进行分载；