[发明专利]基于代理服务的Hadoop生态组件调度服务实现方法及系统

说明书

本发明提供了基于代理服务的Hadoop生态组件调度服务实现方法及系统，其解决现有单一调用Hadoop应用组件无法进行有效的管理与监控的问题以及无法适应交通管理各个业务系统的异构性的问题；其在交通管理大数据平台和/或其它交管业务系统与Hadoop技术组件之间设置代理服务系统，交通管理大数据平台和/或其它交管业务系统通过代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由RPC控制端实现服务进程的调用及处理，接口服务模块对业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对Hadoop技术组件接口数据进行封装以实现代理服务系统与Hadoop技术组件之间数据的交互。

技术领域

本发明涉及公安交通管理行业Hadoop生态应用组件的调度服务技术领域，具体为基于代理服务的Hadoop生态组件调度服务实现方法及系统。

背景技术

目前全国交通管理的各个业务信息系统的数据规模已达到数百亿条。并且，全国每年新增违法记录数据量有数亿。当前交通管理行业已经尝试使用Hadoop技术体系进行数据管理工作，但是其采用的单一调用Hadoop应用组件的方式很难进行有效的管理与监控，同时也无法适应交通管理各个业务系统的异构性。为此，需要设计一种统一的技术组件调度方法，实现hadoop技术体系与多源、异构业务系统的整合，提高交管数据与技术组件的可靠性，实现基于代理服务Hadoop的组件调度、存储管理、平台监控及日志管理等功能。

发明内容

针对上述问题，本发明提供了基于代理服务的Hadoop生态组件调度服务实现方法及系统，其能解决现有单一的调用Hadoop应用组件无法进行有效的管理与监控的问题，同时解决其无法适应交通管理各个业务系统的异构性的问题。

基于代理服务的Hadoop生态组件调度服务实现方法，其特征在于：其在交通管理大数据平台和/或其它交管业务系统、与Hadoop技术组件之间设置代理服务系统，所述交通管理大数据平台和/或其它交管业务系统均通过所述代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由所述RPC控制端实现服务进程的调用及处理，所述接口服务模块对所述业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，所述调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对所述Hadoop技术组件接口数据进行封装以实现所述代理服务系统与Hadoop技术组件之间数据的交互；

所述RPC控制端包括RPC客户端和RPC服务器端，所述RPC客户端与所述交通管理大数据平台和/或其它交管业务系统直接对接，所述RPC客户端与所述RPC服务器端之间数据双向传送对接；

所述接口服务模块包括消息格式转换单元、内容校验单元和权限控制单元，所述消息格式转换单元用于将数据格式进行转换，所述内容校验单元通过创建数据检验规则自动为核心系统或外围系统提供缺失、逻辑的各种数据检验预警告警，用于提示各运行板块业务与管理人员实时进行数据处置，所述权限控制用于对服务的访问进行安全控制。

基于代理服务的Hadoop生态组件调度服务系统，其包括交通管理大数据平台和/或其它交管业务系统、以及Hadoop技术组件，其特征在于：在所述交通管理大数据平台和/或其它交管业务系统、与所述Hadoop技术组件之间设置有代理服务系统，所述代理服务系统包括

RPC控制端，用于与所述交通管理大数据平台和/或其它交管业务系统直接对接，并进行进程的调用及程序处理；

接口服务模块，用于对数据进行消息格式转换、校验及权限控制；

调度服务模块，用于任务管理、任务监控及日志管理；

以及处理器模块，用于对所述Hadoop技术组件接口封装并与所述调节服务模块进行数据的交互。

其进一步特征在于：