[发明专利]一种大数据组件升级方法、装置、电子设备及存储介质

说明书

本发明公开了一种大数据组件升级方法、装置、电子设备及存储介质，用于解决现有技术缺少快速有效的自动化测试手段，无法确保升级不会影响数据质量的技术问题。其中，方法包括：获取所述大数据组件的升级版本和对比版本，并将所述升级版本升级到对应的测试集群；在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验；当校验通过时，将所述升级版本推送至灰度集群，进行灰度运行验证；当验证通过时，将所述大数据组件的所述升级版本推送至预设生产集群。

技术领域

本发明涉及组件升级技术领域，尤其涉及一种大数据组件升级方法、装置、电子设备及存储介质。

背景技术

目前，大数据仓库主要的基础组件，如hive、spark等，因为技术发展和业务迭代，需要不断地进行升级，而频繁地升级，会带来较多的测试工作量，需要手动或者自动化测试大量的用例，整体的交付效率较低。当前在做hive/spark升级时，主要采用执行ETL任务的方式验证是否升级成功，但无法保证数据的正确性，造成升级后因数据质量问题导致生产故障。因此，针对基础组件如hive/spark等升级频繁，存在缺少快速有效的自动化测试手段，且无法确保升级不会影响数据质量的技术问题。

发明内容

本发明提供了一种大数据组件升级方法、装置、电子设备及存储介质，用于解决现有技术缺少快速有效的自动化测试手段，无法确保升级不会影响数据质量的技术问题。

本发明提供了一种大数据组件升级方法，包括：

获取所述大数据组件的升级版本和对比版本，并将所述升级版本升级到对应的测试集群；

在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验；

当校验通过时，将所述升级版本推送至灰度集群，进行灰度运行验证；

当验证通过时，将所述大数据组件的所述升级版本推送至预设生产集群。

可选地，所述在所述测试集群中采用所述对比版本对所述升级版本进行数据质量校验的步骤，包括：

获取所述大数据组件的配置信息；

基于所述配置信息，在所述测试集群中采用所述升级版本执行预设的调度任务，生成升级结果数据文件；

基于所述配置信息，在所述测试集群中采用所述对比版本执行所述调度任务，生成对比结果数据文件；

采用所述对比结果数据文件对所述升级结果数据文件进行数据质量校验。

可选地，所述采用所述对比结果数据文件对所述升级结果数据文件进行数据质量校验的步骤，包括：

计算所述升级结果数据文件的第一MD5值；

计算所述对比结果数据文件的第二MD5值；

判断所述第一MD5值与所述第二MD5值是否一致；

若一致，则数据质量校验通过。

可选地，所述计算所述升级结果数据文件的第一MD5值的步骤，包括：

判断所述升级结果数据文件的文件大小是否大于预设阈值；

若是，按照预设长度间隔对所述升级结果数据文件进行采样，得到升级采样文件；

计算所述升级采样文件的MD5值作为所述升级结果数据文件的第一MD5值；

若否，计算所述升级结果数据文件的MD5值作为所述第一MD5值。

可选地，所述计算所述对比结果数据的第二MD5值的步骤，包括：

判断所述对比结果数据文件的文件大小是否大于所述预设阈值；