[发明专利]大数据业务处理系统及方法

说明书

技术领域

本发明涉及大数据业务领域，具体涉及一种大数据业务处理系统及方法。

背景技术

云时代的来临，大数据也吸引了越来越多的关注，大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着科技和经济的发展，大数据业务应用的越来越广泛，现有的大数据业务维度复杂，关联性能差，数据清洗和迁移的效率较低。

发明内容

为解决上述技术问题，本发明提出了一种大数据业务处理系统及方法，以达到对数据高效的管理和提高数据清洗、迁移效率的目的。

为达到上述目的，本发明的技术方案如下：

一种大数据业务处理系统，包括：数据爬取模块、数据存储模块、数据处理模块、总线模块、基础服务提供模块和阿里云资源统一访问控制模块，所述数据爬取模块，用于对大量数据进行爬取；所述数据存储模块，用于存储系统中的各类数据；所述数据处理模块，用于对线下数据进行清洗；所述总线模块，用于各业务之间的通讯与控制；所述基础服务提供模块，用于控制各分布式业务系统定时任务的运行；所述阿里云资源统一访问控制模块，用于控制业务系统访问阿里云资源的安全权限。

作为优选的，所述数据存储模块由多个关系型数据库组成，所述多个关系型数据库，包括：存储爬虫爬取到的各类业务数据的关系型数据库、数据检索关系型数据库、详情关系型数据库和存储用户信息的关系型数据库，每个关系型数据库都由主数据库和备用数据库组成，主数据库和备用数据库之间采用自关联机制。

作为优选的，所述数据处理模块对爬虫爬取到的各类线下业务数据进行清洗处理，所述清洗处理分为MR检索数据增量清洗和MR详情数据增量清洗。

作为优选的，所述总线模块由rabbitMQ集群的服务总线组成，所有业务系统均接入了rabbitMQ的服务，因此大数据业务系统可根据业务量进行针对性扩展，整个大数据业务系统无单点。

作为优选的，所述基础服务提供模块包含有：Redis缓存服务和定时任务服务，各业务服务的定时任务统一管理，通过Redis分布式缓存锁控制各分布式业务系统定时任务的运行。

作为优选的，所述阿里云资源统一访问控制模块根据用户信息和阿里云登录信息控制各类业务访问阿里云资源的权限，所述阿里云登录信息通过key，value的方式保存，并对value进行加密，读取value时需获得秘钥进行解密。

一种大数据业务处理方法，包括：对线下数据的处理和对实时数据的处理，所述线下数据处理的步骤为：

步骤1.数据爬虫将各类业务系统中的业务数据爬取到存储各类业务数据的关系型数据库；

步骤2.对业务数据中需要抽取的数据源进行ODPS配置，通过批量与增量的方式将数据定期抽取到数据处理模块中；

步骤3.数据处理模块将一部分源数据通过MR检索数据增量清洗成为检索相关数据，将另一部分源数据通过MR详情数据增量清洗成为详情相关数据；

步骤4.将检索相关数据通过ODPS配置存储到数据检索关系型数据库，将详情相关数据通过ODPS配置存储到详情关系型数据库；

步骤5.检索相关数据根据阿里云资源统一访问控制模块提供的权限对阿里云资源进行访问，

所述实时数据的处理是对数据进行实时清洗，将清洗后的检索相关数据存储到数据检索关系型数据库，将详情相关数据存储到详情关系型数据库。

作为优选的，所述业务系统均接入了rabbitMQ集群的服务总线，各业务间通过总线进行通讯及控制。

作为优选的，所述数据清洗实时监听rabbitMq消息队列，爬虫系统的新数据爬取下来入库，随后发出消息到rabbitMq队列，清洗程序则实时进行处理。

作为优选的，所述爬取的数据，通过数据模块进行配置，建立起每日定期同步的机制，将数据进行了备份，将数据进行配置即可实现数据导出。

本发明具有如下优点：

(1).所有大数据业务系统均接入了rabbitMQ的服务，通过rabbitMQ集群的服务总线对业务系统进行统一的通讯及控制。

(2).清洗系统实时监听rabbitMQ消息队列，爬虫系统的新数据爬取下来入库，随后发出消息到rabbitMQ队列，清洗程序则实时进行处理，对数据进行高效的清洗。

(3).系统将数据进行配置即可实现数据导出，提高了数据迁移的效率。

附图说明