[发明专利]获取蒙版帧数据的方法、计算机设备及可读存储介质有效
| 申请号: | 201910413128.3 | 申请日: | 2019-05-17 |
| 公开(公告)号: | CN111954053B | 公开(公告)日: | 2023-09-05 |
| 发明(设计)人: | 时英选;张抗抗;刘若衡;高龙文 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
| 主分类号: | H04N21/431 | 分类号: | H04N21/431;H04N21/4788;H04N21/8547;H04N21/435;H04N21/44;G06T7/11 |
| 代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 林彦之 |
| 地址: | 200433 上海市*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 获取 帧数 方法 计算机 设备 可读 存储 介质 | ||
1.一种获取蒙版帧数据的方法,其特征在于,包括下述步骤:
基于图像分割算法识别视频中至少一帧图像的主体区域;
根据所述主体区域生成蒙版帧数据;
基于所述蒙版帧数据构成蒙版帧数据段,所述蒙版帧数据段由依据预设时间长度,根据蒙版帧的时间戳的时序性排列的至少一个蒙版帧数据组成;所述蒙版帧数据段包括编码格式,所述编码格式用于指示是否压缩所述蒙版帧数据段;
生成蒙版文件结构,所述蒙版文件结构包括:至少一个蒙版帧数据段、标识单元和索引单元;
所述标识单元设置在蒙版文件中第一预设位置,用于记录文件标识、所述蒙版帧数据段的编码格式及所述索引单元的大小参数;
所述索引单元设置在蒙版文件中第二预设位置,用于记录指示各个所述蒙版帧数据段的物理位置以及所述蒙版帧数据段在所述蒙版文件的长度参数;所述长度参数为所述蒙版帧数据段的起始蒙版帧到末尾蒙版帧的长度;所述物理位置为所述蒙版帧数据段的起始蒙版帧的时间戳。
2.根据权利要求1所述的获取蒙版帧数据的方法,其特征在于:基于图像分割算法识别视频中至少一帧图像的主体区域的步骤,包括:
采用语义分割模型识别视频中至少一帧图像的主体区域。
3.根据权利要求2所述的获取蒙版帧数据的方法,其特征在于:所述语义分割模型依次包括至少两个特征提取模块、至少一特征增强层和一分类层。
4.根据权利要求3所述的获取蒙版帧数据的方法,其特征在于:采用语义分割模型识别视频中至少一帧图像的主体区域的步骤,包括:
分别通过每一特征提取模块对所述视频的至少一帧图像进行特征图提取;
对每一所述特征提取模块输出的特征图进行逐级融合,所述至少一特征增强层将所有的特征提取模块最终输出的特征图进行融合生成综合特征图;
所述分类层根据所述综合特征图对应的像素预测语义分割结果,获取所述主体区域。
5.根据权利要求2所述的获取蒙版帧数据的方法,其特征在于:采用语义分割模型识别视频中至少一帧图像的主体区域的步骤,之前包括:
获取至少一第一样本图像,所述第一样本图像为包括人物和/或动物的对象图像,
获取至少一第二样本图像,所述第二样本图像为不包括人物和动物的背景图像;
提取所述对象图像中的对象区域;
将所述对象区域与所述背景图像合成生成训练样本集合;
采用训练样本集合对初始分割模型进行训练,获取语义分割模型。
6.根据权利要求4所述的获取蒙版帧数据的方法,其特征在于:所述分类层根据所述综合特征图对应的像素预测语义分割结果,获取所述主体区域的步骤之前的步骤,包括:
采用条件随机场模块对所述综合特征图中每一对象区域的像素点进行约束处理,获取经处理后的综合特征图。
7.根据权利要求1所述的获取蒙版帧数据的方法,其特征在于:基于图像分割算法识别视频中至少一帧图像的主体区域的步骤,包括:
采用实例分割模型识别视频中至少一帧图像的主体区域。
8.根据权利要求7所述的获取蒙版帧数据的方法,其特征在于:所述实例分割模型包括:提取模块、分类模块、回归模块和掩膜模块;
所述提取模块包括:特征提取模块、区域提取模块。
9.根据权利要求8所述的获取蒙版帧数据的方法,其特征在于:采用实例分割模型识别视频中至少一帧图像的主体区域的步骤,包括:
通过特征提取模块对所述视频的至少一帧图像进行特征图提取;
所述区域提取模块对所述特征图进行非极大值抑制提取候选区域,根据所述特征图和候选区域生成目标区域特征图;
通过所述分类模块对所述目标区域特征图预测获取所属类别;
通过所述回归模块对所述目标区域特征图预测边框位置信息;
通过所述掩膜模块计算所述目标区域特征图的分割掩膜;
根据所述所属类别、边框位置信息和分割掩膜获取所述主体区域。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910413128.3/1.html,转载请声明来源钻瓜专利网。





