[发明专利]电网数据采集系统

权利要求书

1.电网数据采集系统，包括数据采集模块和采用多租户技术生成的多个电网租户空间，每个电网租户空间对接一个用电地区的电网数据库，所述电网数据库中存储有多个电网数据，其特征是，所述数据采集模块包括数据采集方式不同的多种数据采集引擎，对每个电网租户空间，数据采集模块利用所述多种数据采集引擎分别采集多种类型的电网数据。

2.根据权利要求1所述的电网数据采集系统，其特征是，所述数据采集引擎包括流式采集引擎、批量采集引擎、CDC采集引擎和网络爬虫采集引擎，对每个电网租户空间，数据采集模块利用所述流式采集引擎采集得到实时数据，利用所述批量采集引擎采集得到离线数据，利用所述CDC采集引擎采集得到实时变更数据，利用所述网络爬虫采集引擎采集得到网络数据。

3.根据权利要求2所述的电网数据采集系统，其特征是，所述流式采集引擎包括用于实时计算的分布式实时大数据处理框架。

4.根据权利要求3所述的电网数据采集系统，其特征是，所述分布式实时大数据处理框架是Storm流式处理框架。

5.根据权利要求2所述的电网数据采集系统，其特征是，所述CDC采集引擎是非侵入式的CDC采集引擎。

6.根据权利要求5所述的电网数据采集系统，其特征是，所述非侵入式的CDC采集引擎是基于日志的CDC采集引擎，其把数据采集过程中的每个插入、更新、删除操作记录到日志里。

7.根据权利要求2所述的电网数据采集系统，其特征是，所述网络爬虫采集引擎包括用于抓取网络站点页面并从网络站点页面中提取结构性数据的应用框架。

8.根据权利要求7所述的电网数据采集系统，其特征是，所述应用框架是采用Python编写的Scrapy框架。

9.根据权利要求2所述的电网数据采集系统，其特征是，所述批量采集引擎包括用于抓取屏幕页面并从屏幕页面中提取结构性数据的应用框架。

10.根据权利要求9所述的电网数据采集系统，其特征是，所述应用框架是采用Python编写的Scrapy框架。