[发明专利]用于车联网的深度学习离线推理负载均衡方法

说明书

本发明公开了一种用于车联网的深度学习离线推理负载均衡方法。包括：确定车联网中的主车；计算深度学习神经网络各层网络的内存占用，得到内存消耗序列；对内存消耗序列作平滑处理；计算神经网络层波动特征序列；对深度学习神经网络进行任务划分，得到初始任务序列；获取车联网中每个节点设备的计算性能；以最低计算性能为基准，获取所有车联网节点计算性能的冗余倍数序列，对初始任务序列进行校正；获得校正的任务序列中任务与车辆节点之间的最优匹配，将任务分配至各个车辆节点。利用本发明，可以在车联网场景中，实现跨设备协作完成任务，设计成本低，实用性高。

技术领域

本发明涉及车联网负载均衡技术领域，具体涉及一种用于车联网的深度学习离线推理负载均衡方法。

背景技术

随着智能驾驶技术的高速发展，车载系统的图像数据处理能力越来越强，所得处理结果越来越丰富。然而，单个车载系统的计算能力仍然无法与快速增长的交通场景数据匹配。

车联网系统可以将网络中车辆节点的任务分配给其他车辆节点，以提高数据处理效率。目前的车联网系统可以满足短时间的高速传输，但是内容大多限于音视频、传感器数据等，而非大规模的张量数据。基于车联网的车队系统，例如矿车车队、卡车车队等，可以完成极丰富的任务。然而，对于大规模的图像数据，仍然缺少合适的负载均衡策略，提高车联网中数据节点的设备利用率。以大批量高分辨率的图像内容结构化为例，一张4K的图像通过网络提取特征的前端若干层内的内存占用量高达几十GB，而车载系统的内存容量通常为个位数GB，通常这样的任务只能通过云端数据中心完成，而一些场景中因为时延的要求或因信息安全的要求，却只能通过本地设备完成。目前的车队系统的深度学习推理系统无法跨设备协作完成推理任务。深度学习推理负载均衡与设备性能、稳定性、热设计等多种因素相关，平衡难度很大，设计能够运行严苛的负载的系统难度更是极难的一件事。此外，专用的负载均衡系统成本极高、试验次数少、实用性非常低。

因此，现有深度学习负载均衡技术存在无法跨设备协作完成以及负载均衡系统设计成本高、实用性低等问题。

发明内容

本发明提供了一种用于车联网的深度学习离线推理负载均衡方法，该方法实现了深度学习离线推理任务负载均衡，实现跨设备协作完成推理任务，设计成本低，实用性高。

一种用于车联网的深度学习离线推理负载均衡方法，该方法包括：

步骤一，确定车联网中提出离线推理负载均衡请求的车辆为主车；

步骤二，计算深度学习神经网络各层网络的内存占用，得到深度学习神经网络的内存消耗序列；

步骤三，采用滑动窗口，对内存消耗序列作平滑处理，得到平滑内存消耗序列；

步骤四，将深度学习神经网络的输入端及其相邻层、输出端及其相邻层分配给主车，根据内存消耗序列与平滑内存消耗序列，计算神经网络层波动特征序列；

步骤五，根据神经网络层波动特征序列以及内存消耗序列，对深度学习神经网络进行任务划分，得到初始任务序列；

步骤六，采用基准测试方式对车联网各节点硬件组态进行识别，获取每个车辆节点的计算性能；

步骤七，以最低计算性能为基准，获取车联网所有车辆节点计算性能的冗余倍数序列，根据冗余倍数序列对初始任务序列进行校正；

步骤八，采用任务匹配衡量算式衡量任务匹配度，根据任务匹配度获得任务与车辆节点之间的最优匹配，将校正后的任务序列中的任务分配至各个车辆节点。

步骤二包括：

根据神经网络层的内存占用以及神经网络层的输入输出流量，得到深度学习神经网络的内存消耗L：

L＝D+F

其中，D是神经网络l层的内存占用，F是神经网络l层的输入输出流量；