[发明专利]电网数据采集系统

说明书

本发明提供一种电网数据采集系统，包括数据采集模块和采用多租户技术生成的多个电网租户空间，每个电网租户空间对接一个用电地区的电网数据库，所述电网数据库中存储有多个电网数据，所述数据采集模块包括数据采集方式不同的多种数据采集引擎，对每个电网租户空间，数据采集模块利用所述多种数据采集引擎分别采集多种类型的电网数据。因为每个电网租户空间对接一个用电地区的电网数据库，所以每个租户空间中就包含有相应电网数据库中的一切电网数据，数据采集模块就可利用采集方式不同的多种数据采集引擎分别从每个电网租户空间采集多种类型的电网数据，以满足外部分析系统对电网数据进行全面分析的需求。

技术领域

本发明涉及数据处理技术领域，特别涉及一种电网数据采集系统。

背景技术

目前我国电力供应总体偏紧张，部分地区、部分时段缺电比较严重，随着我国电网规模不断扩大及电网复杂性不断增加，需对各个用电地区的用电量、用电高峰时段等电网数据进行用电分析，从而得出合理的供电方案来缓解电力供应紧张的局面。为此，通常使用数据采集模块从各个用电地区的电网数据库中采集电网数据，再将采集到的电网数据传输给外部分析系统进行全面的用电分析，在电网数据传输过程中，为减小各个用电地区的电网数据同时泄露的风险，需确保各用电地区的电网数据之间的隔离性。

多租户技术(multi-tenancy technology)或称多重租赁技术，是一种软件架构技术，它是指在多个租户的环境下共用相同的系统或程序组件，同时确保各个租户之间数据的隔离性。在多租户技术中，租户是指使用系统或电脑运算资源的用户，同时包含在系统中可识别为指定用户的一切数据，如账户与统计信息，用户在系统中创建的各类数据，以及用户本身的定制化应用程序环境等，都属于租户的范围；而租户所使用的则是供应商所开发或提供的应用系统或运行资源。

因此，在数据采集模块的基础上结合多租户技术，先为每个用电地区的电网数据库建立一个租户空间，每个租户空间对接相应用电地区的电网数据库，这样每个租户空间中就包含有相应电网数据库中的一切电网数据，这样基于多个租户空间就可确保各个用电地区的电网数据之间的隔离性。但是，目前的数据采集模块所能采集到的电网数据类型单一，难以满足外部分析系统对电网数据进行全面分析的需求。

发明内容

本发明要解决的技术问题是如何采集得到多种类型的电网数据以满足外部分析系统对电网数据进行全面分析的需求。

为解决上述技术问题，本发明提供一种电网数据采集系统，包括数据采集模块和采用多租户技术生成的多个电网租户空间，每个电网租户空间对接一个用电地区的电网数据库，所述电网数据库中存储有多个电网数据，所述数据采集模块包括数据采集方式不同的多种数据采集引擎，对每个电网租户空间，数据采集模块利用所述多种数据采集引擎分别采集多种类型的电网数据。

优选地，所述数据采集引擎包括流式采集引擎、批量采集引擎、CDC采集引擎和网络爬虫采集引擎，对每个电网租户空间，数据采集模块利用所述流式采集引擎采集得到实时数据，利用所述批量采集引擎采集得到离线数据，利用所述CDC采集引擎采集得到实时变更数据，利用所述网络爬虫采集引擎采集得到网络数据。

优选地，所述流式采集引擎包括用于实时计算的分布式实时大数据处理框架。

优选地，所述分布式实时大数据处理框架是Storm流式处理框架。

优选地，所述CDC采集引擎是非侵入式的CDC采集引擎。

优选地，所述非侵入式的CDC采集引擎是基于日志的CDC采集引擎，其把数据采集过程中的每个插入、更新、删除操作记录到日志里。

优选地，所述网络爬虫采集引擎包括用于抓取网络站点页面并从网络站点页面中提取结构性数据的应用框架。

优选地，所述应用框架是采用Python编写的Scrapy框架。