[发明专利]模型训练方法、道路事件检测方法、装置及相关设备

说明书

本申请的实施例提供了一种模型训练方法、道路事件检测方法、装置及相关设备，该方法包括：获取训练数据，所述训练数据包括图像和图像中用于描述路况信息的描述文本；利用所述训练数据训练神经网络模型，所述神经网络模型用于识别图像中道路区域，以及用于表征图像和用于描述路况信息的描述文本的对应关系。本申请具有较好的通用性，在检测时只需要通过单张图片即可实现，能够极大地节省资源，并且该模型能够直接输出描述文本，更加便于理解。

技术领域

本申请的实施例涉及机器视觉技术领域，尤其涉及一种模型训练方法、道路事件检测方法、装置及相关设备。

背景技术

随着监控摄像头的大范围部署，城市道路的道路事件检测需求急剧增加。目前，主要是利用视频流、音频、历史数据、雷达数据结合具有一定业务逻辑的方法来进行道路事件检测，不同的道路事件需要配置相应的业务逻辑，不具有通用性且不利于更新迭代。

发明内容

为解决上述技术问题，本申请的实施例提供了一种模型训练方法、道路事件检测方法、装置及相关设备。

在本申请的第一方面，提供了一种模型训练方法，包括：

获取训练数据，所述训练数据包括图像和图像中用于描述路况信息的描述文本；

利用所述训练数据训练神经网络模型，所述神经网络模型用于识别图像中道路区域，以及用于表征图像和用于描述路况信息的描述文本的对应关系。

在一种可能的实现方式中，所述神经网络模型包括图像分割模块和联合编码模块，所述图像分割模块的最后一层为掩码覆盖成，所述掩码覆盖层用于屏蔽图像中非道路区域，所述联合编码模块用于关联图像和用于描述路况信息的描述文本。

在一种可能的实现方式中，所述神经网络模型还包括图像编码模块、文本编码模块以及文本解码模块；

所述利用所述训练数据训练神经网络模型，包括：

将所述训练数据分别输入所述图像编码模块和所述文本编码模块，将所述图像编码模块的输出输入所述图像分割模块，将所述文本编码模块的输出和所述图像分割模块的输出均输入所述联合编码模块，将所述联合编码模块的输出输入所述文本解码模块，来训练所述神经网络模型。

在本申请的第二方面，提供了一种道路事件检测方法，包括：

获取待检测图像；

将所述待检测图像输入神经网络模型得到用于描述所述待检测图像中路况信息的描述文本；

其中，所述神经网络模型由权利要求1至3中任一项述的方法训练得到。

在一种可能的实现方式中，还包括：基于所述描述文本，在预设对照表中匹配对应所述描述文本的关键词；若匹配到所述关键词，则上报所述关键词和对应所述关键词的枚举值；其中，所述预设对照表包括所述关键词和所述枚举值的对应关系。

在一种可能的实现方式中，还包括：响应于所述关键词和/或所述枚举值，发出控制指令，所述控制指令用于使得系统进行抓拍或发出报警信息。

在本申请的第三方面，提供了一种模型训练装置，包括：

第一获取模块，用于获取训练数据，所述训练数据包括图像和图像中用于描述路况信息的描述文本；

模型训练模块，用于利用所述训练数据训练神经网络模型，所述神经网络模型用于识别图像中道路区域，以及用于表征图像和用于描述路况信息的描述文本的对应关系。

在本申请的第四方面，提供了一种道路事件检测装置，包括：

第二获取模块，用于获取待检测图像；

图像检测模块，用于将所述待检测图像输入神经网络模型得到所述待检测图像对应的描述文本；