[发明专利]一种车云两端联合训练机器学习模型的方法及系统

说明书

本发明一种车云两端联合训练机器学习模型的方法及系统，所有数据在车端训练并且上传模型在云端融合再下发到车端，所有数据从车端上传到云端并且在云端训练并下发模型到车端，本方案是介于二者的混合/中间方案，相比于前者，本方案把部分数据上传到云端并融合到一起进行训练，实际起到了shuffle的作用（即数据集打乱），可以防止训练过程中的模型抖动，有利于模型的健壮性以及防止过拟合；相比于后者，本方案可充分利用车端已有的边缘算力，降低云端计算成本，另外相比于纯粹上传数据，把部分数据在本地变为数据量更小的模型再上传，可降低车端到云端的通信成本。

技术领域

本发明涉及智能驾驶领域，尤其涉及一种车云两端联合训练机器学习模型的方法及系统。

背景技术

无人驾驶汽车是现在非常火热的一项技术，有很多国内外知名的主机厂和互联网公司都投入大量人力物力来从事相关的研究工作。其中，最制约无人驾驶汽车发展的技术瓶颈是，无人驾驶汽车为了应对各种复杂路况以及复杂交通场景，需要大量的先验数据作为训练数据，只有经过大量的先验数据的训练，无人驾驶汽车才能变得越来越智能化。在无人驾驶系统进行训练的过程中，如果将大量的视频数据进行上传，由于视频等非结构化数据体积非常大，通常1080P视频数据100分钟视频文件大小超过2G，所以使用移动流量将所有视频数据上传到云端是成本非常高。

基于以上，如果长时间采用上述技术训练自动驾驶模型，则会大量耗费车端的流量。如果这部分流量获取自车端客户，则会对车端用户的流量包有苛刻的要求。并且在手机车辆训练数据时，车端的网速被占用，将会对用户车端的驾驶体验造成影响，这显然不能满足人们对无人驾驶的需求。

而传统的基于联合学习训练机器模型的方法本质是利用边缘计算，将机器模型训练分为云端和车端，在车端训练以后再将模型上传到云端进行更新，以解决数据传输负载过多、模型训练效率低的问题。

发明内容

发明要解决的问题：

鉴于此，本发明目的在于提供一种车云两端联合训练机器学习模型的方法及系统，以解决现有技术中模型训练数据在云端处理需要大量数据、训练效率低的技术问题。解决问题的技术手段：

本发明提供一种车云两端联合训练机器学习模型的方法，包括如下步骤：

步骤S1：车端使用单个旧版本车端模型和困难数据筛选策略筛选出困难数据，组成单个困难数据集；

步骤S2：车端在所有旧版本车端模型上重复步骤S1进行困难数据筛选，将所有的所述单个困难数据集组成旧版数据集；

步骤S3：车端使用当前版本车端模型和困难数据筛选策略筛选出困难数据，组成新版数据集；

步骤S4：车端按照数据集划分策略将新版数据集划分为车端数据子集和云端数据子集；将车端数据子集与旧版数据集组成车端数据集；

步骤S5：在车端边缘计算平台用所述车端数据集微调训练当前版本车端模型，得到车端模型参数；

步骤S6：车端上传所述车端模型参数和所述云端数据子集到云端；

步骤S7：云端对多个车端上传的所述车端模型参数进行融合，得到云端融合模型；

步骤S8：云端将多个车端上传的所述云端数据子集组成云端数据集，用所述云端数据集训练所述云端融合模型，得到车端待更新模型，将所述车端待更新模型下发到多个车端；

步骤S9：车端使用所述车端待更新模型替换当前版本车端模型，并更新所述车端数据集。