[发明专利]大数据业务处理系统及方法

权利要求书

1.一种大数据业务处理系统，其特征在于，包括：数据爬取模块、数据存储模块、数据处理模块、总线模块、基础服务提供模块和阿里云资源统一访问控制模块，所述数据爬取模块，用于对大量数据进行爬取；所述数据存储模块，用于存储系统中的各类数据；所述数据处理模块，用于对线下数据进行清洗；所述总线模块，用于各业务之间的通讯与控制；所述基础服务提供模块，用于控制各分布式业务系统定时任务的运行；所述阿里云资源统一访问控制模块，用于控制业务系统访问阿里云资源的安全权限。

2.根据权利要求1所述的大数据业务处理系统，其特征在于，所述数据存储模块由多个关系型数据库组成，所述多个关系型数据库，包括：存储爬虫爬取到的各类业务数据的关系型数据库、数据检索关系型数据库、详情关系型数据库和存储用户信息的关系型数据库，每个关系型数据库都由主数据库和备用数据库组成，主数据库和备用数据库之间采用自关联机制。

3.根据权利要求1所述的大数据业务处理系统，其特征在于，所述数据处理模块对爬虫爬取到的各类线下业务数据进行清洗处理，所述清洗处理分为MR检索数据增量清洗和MR详情数据增量清洗。

4.根据权利要求1所述的大数据业务处理系统，其特征在于，所述总线模块由rabbitMQ集群的服务总线组成，所有业务系统均接入了rabbitMQ的服务，因此大数据业务系统可根据业务量进行针对性扩展，整个大数据业务系统无单点。

5.根据权利要求1所述的大数据业务处理系统，其特征在于，所述基础服务提供模块包含有：Redis缓存服务和定时任务服务，各业务服务的定时任务统一管理，通过Redis分布式缓存锁控制各分布式业务系统定时任务的运行。

6.根据权利要求1所述的大数据业务处理系统，其特征在于，所述阿里云资源统一访问控制模块根据用户信息和阿里云登录信息控制各类业务访问阿里云资源的权限，所述阿里云登录信息通过key，value的方式保存，并对value进行加密，读取value时需获得秘钥进行解密。

7.一种大数据业务处理方法，其特征在于，包括：对线下数据的处理和对实时数据的处理，所述线下数据处理的步骤为：

步骤1.数据爬虫将各类业务系统中的业务数据爬取到存储各类业务数据的关系型数据库；

步骤2.对业务数据中需要抽取的数据源进行ODPS配置，通过批量与增量的方式将数据定期抽取到数据处理模块中；

步骤3.数据处理模块将一部分源数据通过MR检索数据增量清洗成为检索相关数据，将另一部分源数据通过MR详情数据增量清洗成为详情相关数据；

步骤4.将检索相关数据通过ODPS配置存储到数据检索关系型数据库，将详情相关数据通过ODPS配置存储到详情关系型数据库；

步骤5.检索相关数据根据阿里云资源统一访问控制模块提供的权限对阿里云资源进行访问，

所述实时数据的处理是对数据进行实时清洗，将清洗后的检索相关数据存储到数据检索关系型数据库，将详情相关数据存储到详情关系型数据库。

8.根据权利要求7所述的大数据业务处理方法，其特征在于，所述业务系统均接入了rabbitMQ集群的服务总线，各业务间通过总线进行通讯及控制。

9.根据权利要求7所述的大数据业务处理方法，其特征在于，所述数据清洗实时监听rabbitMQ消息队列，爬虫系统的新数据爬取下来入库，随后发出消息到rabbitMQ队列，清洗程序则实时进行处理。

10.根据权利要求7所述的大数据业务处理方法，其特征在于，所述爬取的数据，通过数据模块进行配置，建立起每日定期同步的机制，将数据进行了备份,将数据进行配置即可实现数据导出。