[发明专利]完整事件确定方法、存储介质及电子装置有效
| 申请号: | 202111207163.3 | 申请日: | 2021-10-15 |
| 公开(公告)号: | CN113920473B | 公开(公告)日: | 2022-07-29 |
| 发明(设计)人: | 司马华鹏;汤毅平;姚奥 | 申请(专利权)人: | 宿迁硅基智能科技有限公司 |
| 主分类号: | G06V20/52 | 分类号: | G06V20/52;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G10L25/30;G10L25/57 |
| 代理公司: | 南京经纬专利商标代理有限公司 32200 | 代理人: | 阚梦诗 |
| 地址: | 223808 江苏省宿*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 完整 事件 确定 方法 存储 介质 电子 装置 | ||
1.一种完整事件确定方法,其特征在于,包括:
获取目标区域的音频数据,其中,所述目标区域为预设的监控区域;
根据所述音频数据与预设的判定条件,通过第一神经网络模型确定所述音频数据中包含的独立事件所对应的第一特征向量;其中,所述独立事件与所述判定条件对应,所述第一神经网络模型为使用第一样本数据训练的卷积神经网络模型,所述第一样本数据包括独立事件音数据和对应的独立事件标签,所述独立事件标签用于指示所述独立事件的类型,所述第一神经网络模型包括共享网络层和第一分类层,所述共享网络层包括A层网络结构,A层所述网络结构之间共享参数,每一层所述网络结构包括B层卷积层,在每一层所述网络结构中,位于中间位置的所述卷积层的卷积通道数量多于位于输入或输出位置的所述卷积层的卷积通道数量,A、B为大于1的整数,所述第一分类层包括N个分类器,N为大于0的整数,每一分类器分别对应一个判定条件;
将所述第一特征向量输入第二神经网络模型,通过所述第二神经网络模型确定完整事件发生的概率,其中,所述第二神经网络模型为使用第二样本数据训练的卷积神经网络模型,所述第二样本数据包括完整事件音数据和对应的完整事件标签,所述完整事件标签用于指示所述完整事件的类型,所述完整事件音数据中包含一个或多个所述独立事件音数据,所述完整事件包括一个或多个所述独立事件;
其中,所述根据所述音频数据与预设的判定条件,通过第一神经网络模型确定所述音频数据中包含的独立事件所对应的第一特征向量,将所述第一特征向量输入第二神经网络模型,通过所述第二神经网络模型确定完整事件发生的概率,包括:
通过所述第一神经网络模型,根据第一独立事件确定第一概率值,并根据第二独立事件确定第二概率值;其中,所述第一概率值用于指示所述第一独立事件存在的情形下,所述完整事件发生的概率,所述第二概率值用于指示所述第二独立事件存在的情形下,所述完整事件发生的概率;
通过所述第二神经网络模型,根据所述第一概率值和/或所述第二概率值确定所述完整事件发生的概率。
2.根据权利要求1所述的方法,其特征在于,所述根据所述音频数据与预设的判定条件,通过第一神经网络模型确定所述音频数据中包含的独立事件所对应的第一特征向量,包括:
提取所述音频数据对应的初始特征向量并输入所述第一神经网络模型;
调整所述初始特征向量的特征维数后输入所述共享网络层,通过所述共享网络层输出所述音频数据的局部特征向量,其中,所述初始特征向量的特征维数与待输入的所述共享网络层的卷积层的卷积通道数量相等;
通过所述第一分类层根据所述音频数据的局部特征向量提取N个独立事件音分别对应的所述第一特征向量。
3.根据权利要求2所述的方法,其特征在于,所述通过所述第二神经网络模型确定完整事件发生的概率,包括:
对所述第一神经网络模型输出的所述N个独立事件音的第一特征向量进行编码;
根据所述音频数据确定第一音频时序信息,其中,所述第一音频时序信息用于指示N个所述独立事件之间的时序关系;
根据所述第一特征向量以及所述第一音频时序信息确定所述完整事件发生的概率。
4.根据权利要求1所述的方法,其特征在于,在通过第一神经网络模型确定所述音频数据中包含的独立事件所对应的第一特征向量之前,所述方法还包括:
在所述网络结构的第一层所述卷积层的输出和最后一层所述卷积层的输出之间设置残差块。
5.根据权利要求1所述的方法,其特征在于,所述通过所述第二神经网络模型确定完整事件发生的概率,包括:
通过所述第二神经网络模型,根据所述音频数据确定第二音频时序信息,其中,所述第二音频时序信息用于指示所述第一独立事件与所述第二独立事件的时序关系;
根据以下对象确定所述完整事件发生的概率:所述第二音频时序信息,所述第一概率值,所述第二概率值。
6.根据权利要求1至5任一项所述的方法,其特征在于,在通过所述第二神经网络模型确定完整事件发生的概率之后,所述方法还包括:
在所述完整事件发生的概率大于或等于第一预设阈值的情况下,输出所述完整事件的类型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于宿迁硅基智能科技有限公司,未经宿迁硅基智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111207163.3/1.html,转载请声明来源钻瓜专利网。





