[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种数据处理方法，该方法包括以下步骤：当通过后台文件监听服务监听到数据集上传完成时，向后台数据处理线程发送启动指令；利用后台数据处理线程对数据集中的各标签文件进行解析操作，并获取数据集状态信息；通过后台数据处理线程将数据集状态信息记录到预设的操作数据库中。应用本发明实施例所提供的技术方案，较大地降低了用户页面卡死现象发生的概率，提高了用户与平台的交互效率，提升了用户体验。本发明还公开了一种数据处理装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

数据集是训练神经网络，尤其是深度神经网络的基础，深度神经网络能够学到如何表示经过多层抽象的数据，应用于语言识别，视觉图像识别，物体探测以及诸多智能应用，如自动驾驶等。

对于有标签的数据集，通常需要解析数据集的标签。数据集的标签方式有多种，例如对于二分类问题，可以以0，1作为文件夹的名称作为标签，对于多分类问题，方法类似。对于标签比较精确的数据集，例如每条数据做了精确地标记，也有一条数据对应一个标签文件的标签方式。

现有的对数据集标签的解析方式是直接使用前端应用程序接口(API，Application Programming Interface)对数据集中的各标签文件进行解析，由于当数据集的数量较大时，逐条解析标签文件比较费时，容易产生用户页面卡死的现象，使用户无法进行平台其他模块的操作，影响用户与平台的交互效率。

综上所述，如何有效地解决现有的标签文件解析方式容易产生用户页面卡死的现象，影响用户与平台的交互效率等问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种数据处理方法，该方法较大地降低了用户页面卡死现象发生的概率，提高了用户与平台的交互效率，提升了用户体验；本发明的另一目的是提供一种数据处理装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种数据处理方法，包括：

当通过后台文件监听服务监听到数据集上传完成时，向后台数据处理线程发送启动指令；

利用所述后台数据处理线程对所述数据集中的各标签文件进行解析操作，并获取数据集状态信息；

通过所述后台数据处理线程将所述数据集状态信息记录到预设的操作数据库中。

在本发明的一种具体实施方式中，在通过所述后台数据处理线程将所述数据集状态信息记录到预设的操作数据库中之后，还包括：

当达到预设的时间间隔时，从所述操作数据库中读取所述数据集状态信息；

利用读取到的数据集状态信息对前端当前显示的数据集状态信息进行更新操作。

在本发明的一种具体实施方式中，利用读取到的数据集状态信息对前端当前显示的数据集状态信息进行更新操作，包括：

利用读取到的数据集状态信息，对前端当前以列表形式显示的数据集状态信息进行更新操作。

在本发明的一种具体实施方式中，通过后台文件监听服务监听到数据集上传完成，包括：

通过后台文件监听服务监听到通过后台文件传输协议工具上传的数据集上传完成。

在本发明的一种具体实施方式中，当所述数据集为压缩数据集时，在向后台数据处理线程发送启动指令之后，利用所述后台数据处理线程对所述数据集中的各标签文件进行解析操作之前，还包括：

利用所述后台数据处理线程对所述数据集进行解压缩操作。

一种数据处理装置，包括：