[发明专利]数据处理方法、装置和系统

权利要求书

1.一种数据处理方法，包括：

获取大数据平台的执行作业和所述执行作业的性能指标，其中，所述执行作业为对所述大数据平台中存储的数据进行处理的操作；

分析所述执行作业，得到所述执行作业的功能分类；

对所述执行作业的性能指标和所述执行作业的功能分类进行分析，得到所述大数据平台的功能分布和性能趋势；

其中，获取大数据平台的执行作业，包括：实时获取第一元数据仓库中存储的第一执行作业，并按照离线采集方式获取第二元数据仓库中存储的第二执行作业，其中，所述大数据平台的执行作业至少包括：所述第一执行作业和/或所述第二执行作业，所述第一元数据仓库和所述第二元数据仓库在逻辑上相互独立，所述第一元数据仓库和/或所述第二元数据仓库的数据源包括如下至少一种：分布式结构化表格存储系统、分布式存储系统和日志系统；

对所述执行作业的性能指标和所述执行作业的功能分类进行分析，得到所述大数据平台的功能分布和性能趋势，包括：获取所述执行作业中查询语句和执行实例的映射关系；基于所述映射关系，对所述执行作业和所述执行作业的性能指标进行ETL处理，得到块矩阵；对所述块矩阵进行多维度分析，得到所述大数据平台的功能分布和性能趋势。

2.根据权利要求1所述的方法，其中，所述分布式结构化表格存储系统中存储的数据包括如下至少一种：表的结构的元数据、所述表的实例的元数据、所述表的作业的元数据；所述分布式存储系统存储的数据包括如下至少一种：分布式调度作业产生的文件和内部事件产生的数据；所述分布式调度作业产生的文件包括如下至少一种：作业状态的状态文件、作业计划的状态文件、大数据平台中任务的状态文件；所述内部事件产生的数据包括如下至少一种：表的大小、表的文件数量、列的大小、列的文件数量；所述日志系统存储的日志包括：设备使用日志和所述大数据平台的日志。

3.根据权利要求1所述的方法，其中，获取所述执行作业的性能指标，包括：

获取所述大数据平台的日志；

通过流计算对所述大数据平台的日志进行分析，得到所述执行作业的性能指标。

4.根据权利要求1所述的方法，其中，分析所述执行作业，得到所述执行作业的功能分类，包括：

利用用户自定义函数中的编译器对所述执行作业进行编译，生成逻辑计划，其中，所述逻辑计划包括：与所述执行作业对应的查询任务的标识信息、表的标识信息、列的标识信息和表达式的标识信息；

通过并行分析有向无环图对所述逻辑计划进行优化，得到所述执行作业的功能分类。

5.根据权利要求4所述的方法，其中，所述编译器采用抽象语法树模型。

6.根据权利要求4所述的方法，其中，对所述执行作业进行编译包括如下至少一种：语法分析、类型绑定、语义分析、元数据统计绑定。

7.根据权利要求4所述的方法，其中，所述用户自定义函数包括隔离功能，所述隔离功能用于保证用户的知识产权不被泄露。

8.根据权利要求1所述的方法，其中，对所述块矩阵进行多维度分析，得到所述大数据平台的功能分布和性能趋势，包括：

获取所述执行作业的性能指标树和性能指标权重；

基于所述执行作业，所述执行作业的性能指标、所述性能指标树和所述性能指标权重，得到所述大数据平台的功能分布和性能趋势。