[发明专利]一种数据处理的方法、系统、设备及可读存储介质

说明书

本申请公开了一种数据处理的方法，包括：获取预设数据处理模型、待处理数据及数据处理设备的设备数量；依据设备数量将预设数据处理模型按照通道拆分为对应数目的数据处理子模型，并令数据处理子模型分别在数据处理设备上运行；将待处理数据分别输入到每个数据处理子模型中，并令每个数据处理子模型对待处理数据进行处理；根据每个数据处理子模型得到的处理结果确定最终数据处理结果。本申请实现了对人工智能应用高度并行的拆分，减少了模型的参数量、计算量以及模型运行中的时延，极大的提高了人工智能应用处理数据的速度。本申请同时还提供了一种数据处理的系统、设备及可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理的方法、系统、设备及可读存储介质。

背景技术

随着人工智能理论和相关技术的日渐成熟，在各种场景下的人工智能应用也越来越多的出现在大众的视野中。日常生活中的图片、视频处理、人脸识别、语音识别和自动驾驶等场景常应用人工智能技术。但是目前人工智能计算需要大量的浮点运算、内存和电量开销，使得目前人工智能算法的运行存在着成本高昂、速度慢和并行处理效率低下的问题。

目前的人工智能应用大多在单机中运行，但是单机计算能力往往无法实现实时处理，因此需要多机的计算能力同时处理数据，实际运行的效果会更好。对此有研究人员提出了串行拆分，假设有N个相同的设备，将人工智能模型中各层按照运行的先后顺序，根据各层所需算力，将模型的整体算力平均分配到N个设备上，然后在N个设备上按照模型架构依次运行，实现模型的串行拆分。

虽然串行拆分技术易实现，但是此种拆分算法无法对单个任务处理的延时进行缩减，吞吐量一般也不会有更好的提高，导致此种拆分方法对实际应用的提升效果并不明显。

因此，如何提高人工智能应用处理数据的速度是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据处理的方法、系统、设备及可读存储介质，用于提高人工智能应用处理数据的速度。

为解决上述技术问题，本申请提供一种数据处理的方法，该方法包括：

获取预设数据处理模型、待处理数据及数据处理设备的设备数量；

依据所述设备数量将所述预设数据处理模型按照通道拆分为对应数目的数据处理子模型，并令所述数据处理子模型分别在所述数据处理设备上运行；

将所述待处理数据分别输入到每个所述数据处理子模型中，并令每个所述数据处理子模型对所述待处理数据进行处理；

根据每个所述数据处理子模型得到的处理结果确定最终数据处理结果。

可选的，依据所述设备数量将所述预设数据处理模型按照通道拆分为对应数目的数据处理子模型，包括：

依据所述设备数量将所述预设数据处理模型每一层的输入通道和输出通道分别进行拆分，得到所述数据处理子模型。

可选的，将所述待处理数据分别输入到每个所述数据处理子模型中，包括：

依据所述设备数量对所述待处理数据进行随机选择，得到对应数目的待处理数据子集；

将每个所述待处理数据子集分别输入至每个所述数据处理子模型中。

可选的，将所述待处理数据参数分别输入到每个所述数据处理子模型中，包括：

按照预设顺序对所述待处理数据进行排序，并依据所述设备数量将排序后的待处理数据划分为对应数目的待处理数据子集；

将每个所述待处理数据子集分别输入至每个所述数据处理子模型中。

可选的，令每个所述数据处理子模型对所述待处理数据进行处理，包括：