[发明专利]一种数据调度系统

说明书

本发明提出了一种数据调度系统,通过网络监听，并解析网络报文来发现用户对存储服务器里的对象的操作情况以及操作的对象，对于发现的涉及到对象变化的操作会记录到数据库中，在数据库只做相应操作对象的状态保存。用户可以配置对数据的管理策略，任务调度模块会根据用户配置的管理策略进行任务调度。对于以蓝光存储为目标地址的任务，任务调度模块扫描数据库，将符合配置策略的位于存储服务器中的对象信息和通过蓝光存储节点管理模块选出可用的蓝光存储的位置作为目标存储位置。本发明能够广泛应用在支持标准对象存储协议的存储集群上，实现实时发现对象变化，并自动进行数据调度，且不给存储带来额外压力，不会影响业务的正常进行和带宽。

技术领域

本发明涉及自动进行对象数据归档和取回的系统，具体涉及一种数据调度系统。

背景技术

随着社会的发展，人类社会每天产生大量的数据，且很多数据需要长期永久保存，但是目前磁存储集群存储数据的方式具有成本高、功耗高的问题。为了解决这个问题，就需要把使用频率不高的数据采用低成本、低功耗的设备保存起来。

就目前技术来说，蓝光光盘存储是低成本长期保存的一个选择。数据最开始产生会保存到磁存储上，这是大家使用的规律，对于保存在磁存储上的数据如何才能保存到光盘上，业内有一些解决方案，有的是功能欠缺(只支持手动将文件写入光盘或从光盘取回)，有的是实现起来耦合度太高(只能用厂商自家的存储软件或依赖特定的厂家的存储)或给存储的压力太大。

发明内容

为了解决上述问题，本发明提出一种数据调度系统。

为实现以上目的，本发明采用的技术方案是：

一种数据调度系统，包括控制中心、Agent模块、存储服务器和蓝光存储，所述控制中心包括数据管理策略模块、蓝光存储节点管理模块、任务调度模块、监听解析模块和数据库；

所述数据管理策略模块，用以完成用户对容器的策略配置，包括启用策略、配置策略、删除策略、修改策略、禁用策略；

所述蓝光存储节点管理模块，用以为任务调度模块提供蓝光存储的目标存储位置信息，包括URL及认证信息；

所述监听解析模块，用以监听存储服务器的网络流量，从中解析出用户对存储服务器中数据的操作信息，从中获取数据变动情况信息并记录到数据库中；

所述任务调度模块，用以定期扫描数据库，根据监听解析模块获取的数据变动情况信息判断存储服务器中是否存在容器满足用户配置的数据管理策略，如果有，就生成数据调度任务并发送给消息队列；

所述Agent模块，用以执行数据调度，根据消息队列里的任务，完成将数据从存储服务器备份到蓝光存储或从蓝光存储取回到存储服务器中；

所述数据库：用以保存监听到的存储服务器中数据的数据操作信息、用户配置的数据管理策略。

优选的，所述监听解析模块采用旁路监听的方式监听存储服务器的IP地址和网络端口，当用户通过客户端操作存储服务器内数据或向存储服务器内写入数据时，通过配置的过滤器抓取并过滤数据包，获取操作存储服务器内数据或向存储服务器内写入数据的http/https报文，然后进行报文解析，需要解析http/https报文的请求和响应部分，从中获取请求方法、对应的用户和容器信息以及处理结果，并将解析http/https报文后获取到的信息保存/更新到数据库中。

优选的，所述http/https报文包括请求行和请求头部，所述请求行包括请求方法字段：PUT/GET/HEAD/POST/DELETE/COPY，所述请求头部包括Content-Length字段和Destination字段；