[发明专利]一种用于业务数据标准化的方法与设备

说明书

技术领域

本申请涉及计算机领域，尤其涉及一种用于业务数据标准化的技术。

背景技术

随着电子商务的快速发展，弹性计算平台上相关业务数据会根据自己的数据分析和统计方法进行各种规范化处理，目前运维数据例如CPU、网络、运维、控制系统等调用相关业务数据虽有各自的统计方法，但由于这些相关业务数据都是以文本形式存在，没有格式，图表(schema)以及数据规范等，难以形成标准化业务数据，从而难以迎来对这些相关业务数据进行数据分析等数据二次加工。

现有技术中，传统的弹性计算平台上的运维数据处理链路包括运维前端、数据处理以及数据收集。数据收集是用来收集业务数据来源，主要通过日志收集工具收集业务日志，但部分的业务数据查询工作也会直接下探到业务数据库进行数据收集；数据处理从部署结构上与运维前端属于一体，也就是数据处理和运维前端同属一个模块，数据处理模块包括磁盘类数据、网络类数据、健康维度统计、物理机故障类、物理机异常类、输入输出(IO)异常类以及系统调用统计类等处理的数据；运维前端为现有监控平台及弹性计算平台专有运维系统(例如异常数据分析)，用于日常报警、统计及故障跟踪等工作，其中报警数据、统计数据及故障数据等来自于日志收集工具收集的或者直接访问业务数据库，其中，监控平台完成对用户统计视图和异常报警等数据处理逻辑。由于运维数据处理链路主要是用户处理异常、报警及监控，虽然收集的相关业务数据能够使业务平稳运行并反映当时的具体情况，但由于这些相关业务数据没有合理收集并进行归纳和整理，使得相关业务数据来源以及统计不透明；又由于相关业务数据没能统计归纳导致大量的相关业务数据被重复处理，造成运维效率低，例如CPU和网络的基础数据源虽然不一样，但是该CPU和网络的上层的业务需求有肯能出自一处，导致相关的业务数据被重复处理而造成运维效率低；又由于没有对相关业务数据进进行归纳整理以及在此归纳整理基础上的业务数据分析逻辑，导致开发或运维人员不清楚当前的运维需求可以借鉴的基础业务数据可以为哪些，并会基于原始相关业务数据进行重新计算，造成开发效率低且运维成本高。

因此，现有技术中采用传统的运维数据处理链路对原始的相关业务数据进行相关分析处理，导致相关业务数据存在不透明化及通过相关分析处理操作难以形成标准化基础业务数据，造成开发效率低且运维成本高。

发明内容

本申请的目的是提供一种用于业务数据标准化的方法与设备，以解决现有技术中采用传统的运维数据处理链路对原始的相关业务数据进行相关分析处理，导致相关业务数据存在不透明化及通过相关分析处理操作难以形成标准化基础业务数据，造成开发效率低且运维成本高的问题。

根据本申请的一个方面，提供了一种用于业务数据标准化的方法，包括：

获取运维基础数据及其对应的至少一个数据维度；

获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库。

进一步地，所述方法还包括：

获取用户设备自定义的业务数据需求，基于所述业务数据需求确定所述标准化业务数据仓库中相应的所述数据维度，并确定相应的所述数据维度及其对应的所述相关数据信息。

根据本申请的另一方面，还提供了一种用于业务数据标准化的设备，包括：

获取装置，用于获取运维基础数据及其对应的至少一个数据维度；

建立装置，用于获取业务原始日志，基于所述运维基础数据及其对应的所述数据维度对所述业务原始日志进行标准化分析处理，以建立标准化业务数据仓库。

进一步地，所述设备还包括：

分析装置，用于获取用户设备自定义的业务数据需求，基于所述业务数据需求确定所述标准化业务数据仓库中相应的所述数据维度，并确定相应的所述数据维度及其对应的所述相关数据信息。