[发明专利]一种大数据组件升级方法、装置、电子设备及存储介质

权利要求书

1.一种大数据组件升级方法，其特征在于，包括：

获取所述大数据组件的升级版本和对比版本，并将所述升级版本升级到对应的测试集群；

在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验；

当校验通过时，将所述升级版本推送至灰度集群，进行灰度运行验证；

当验证通过时，将所述大数据组件的所述升级版本推送至预设生产集群。

2.根据权利要求1所述的方法，其特征在于，所述在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验的步骤，包括：

获取所述大数据组件的配置信息；

基于所述配置信息，在所述测试集群中采用所述升级版本执行预设的调度任务，生成升级结果数据文件；

基于所述配置信息，在所述测试集群中采用所述对比版本执行所述调度任务，生成对比结果数据文件；

采用所述对比结果数据文件对所述升级结果数据文件进行数据质量校验。

3.根据权利要求2所述的方法，其特征在于，所述采用所述对比结果数据文件对所述升级结果数据文件进行数据质量校验的步骤，包括：

计算所述升级结果数据文件的第一MD5值；

计算所述对比结果数据文件的第二MD5值；

判断所述第一MD5值与所述第二MD5值是否一致；

若一致，则数据质量校验通过。

4.根据权利要求3所述的方法，其特征在于，所述计算所述升级结果数据文件的第一MD5值的步骤，包括：

判断所述升级结果数据文件的文件大小是否大于预设阈值；

若是，按照预设长度间隔对所述升级结果数据文件进行采样，得到升级采样文件；

计算所述升级采样文件的MD5值作为所述升级结果数据文件的第一MD5值；

若否，计算所述升级结果数据文件的MD5值作为所述第一MD5值。

5.根据权利要求4所述的方法，其特征在于，所述计算所述对比结果数据的第二MD5值的步骤，包括：

判断所述对比结果数据文件的文件大小是否大于所述预设阈值；

若是，按照所述预设长度间隔对所述对比结果数据文件进行采样，得到对比采样文件；

计算所述对比采样文件的MD5值作为所述对比结果数据文件的第二MD5值；

若否，计算所述对比结果数据文件的MD5值作为所述第二MD5值。

6.根据权利要求1所述的方法，其特征在于，所述将所述升级版本推送至灰度集群，进行灰度运行验证的步骤，包括：

将所述升级版本推送至灰度集群，在所述灰度集群中计算所述升级版本的第一数据运行结果；

获取所述大数据组件在所述灰度集群中的灰度验证版本；

计算所述灰度验证版本的第二数据运行结果；

采用所述第二数据运行结果验证对所述第一运行结果进行灰度运行验证。

7.根据权利要求6所述的方法，其特征在于，所述当验证通过时，将所述大数据组件的所述升级版本推送至预设生产集群的步骤，包括：

当所述第一数据运行结果与所述第二数据运行结果一致时，将所述大数据组件的所述升级版本推送至预设生产集群。

8.一种大数据组件升级装置，其特征在于，包括：

测试集群升级模块，用于获取所述大数据组件的升级版本和对比版本，并将所述升级版本升级到对应的测试集群；

数据质量校验模块，用于在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验；

灰度运行验证模块，用于当校验通过时，将所述升级版本推送至灰度集群，进行灰度运行验证；

推送模块，用于当验证通过时，将所述大数据组件的所述升级版本推送至预设生产集群。

9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的大数据组件升级方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的大数据组件升级方法。