[发明专利]数据加载的方法、装置、电子设备及存储介质

说明书

本公开提供了一种数据加载的方法、装置、电子设备及存储介质，涉及计算机视觉和深度学习技术领域。具体实现方案为：将待加载数据划分为多份数据，并分别存储于相应的存储节点上；响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；在所述训练机器的硬件资源未达到资源上限的情况下，循环加载所述多份数据，直至训练结束。采用本公开，可以自动的、高效的处理超大规模的训练数据。

技术领域

本公开涉及人工智能领域。本公开尤其涉及计算机视觉和深度学习技术领域，具体可用于智慧城市和智能交通场景下。

背景技术

随着技术的发展，可以通过人工智能改善硬件性能，所适用的应用场景多种多样，比如涉及图文处理、图像处理、视频处理、人脸识别、目标定位等应用场景的硬件设计中都可以采用人工智能技术，即将训练好的模型部署于硬件中，以提高硬件的处理速度及处理准确率。

然而，模型结构或模型训练的情况各种各样，对应的硬件性能优劣与否，会影响到硬件的处理速度及处理准确率，需要提高模型性能，而模型性能与模型训练有关，存在超大规模的训练数据的情况下，在模型训练时会对训练机器的存储容量提出更大的要求，增加硬件成本。对此，相关技术未存在有效的解决方案。

发明内容

本公开提供了一种数据加载方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种数据加载方法，包括：

将待加载数据划分为多份数据，并分别存储于相应的存储节点上；

响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；

在加载数据量未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。

根据本公开的另一方面，提供了一种图像处理方法，包括：

将待处理图像输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据本公开任意一实施例所提供的数据加载方法获得；

根据所述训练后的目标网络模型，对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。

根据本公开的另一方面，提供了一种视频处理方法，包括：

从待处理视频数据流中提取出多个图像帧；

将所述多个图像帧输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据本公开任意一实施例所提供的数据加载方法获得；

根据所述训练后的目标网络模型，对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理，得到图像处理结果；

根据所述图像处理结果，对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。

根据本公开的另一方面，提供了一种数据加载装置，包括：

数据划分模块，用于将待加载数据划分为多份数据，并分别存储于相应的存储节点上；

响应模块，用于响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；

第一数据加载模块，用于在加载数据量未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。

根据本公开的另一方面，提供了一种图像处理装置，包括：

第一输入模块，用于将待处理图像输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据本公开任意一实施例所提供的数据加载方法获得；