[发明专利]画风转换方法及相关产品有效
| 申请号: | 201810801236.3 | 申请日: | 2017-10-30 |
| 公开(公告)号: | CN109117948B | 公开(公告)日: | 2021-10-19 |
| 发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 上海寒武纪信息科技有限公司 |
| 主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04;G06N3/08;G06T3/00;G06T1/60;G06F9/38 |
| 代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
| 地址: | 201306 上海*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 转换 方法 相关 产品 | ||
1.一种画风转换方法,其特征在于,应用于计算装置内,所述计算装置包括运算单元、互联模块和直接内存访问DMA单元,所述DMA单元包括DMA控制器和寄存器模块,所述互联模块用于控制所述运算单元中计算器的连接关系使得至少两种计算器组成不同的计算拓扑结构;所述方法包括:
所述DMA控制器从所述寄存器模块获取第一地址和第二地址;所述DMA控制器从所述第一地址对应的存储空间中获取待处理的帧图像,所述帧图像具备第一风格的画风;
所述运算单元获取运算指令,以调用所述运算指令对应的计算拓扑结构对所述帧图像进行画风转换处理,从而获得目标图像;并将所述目标图像发送至所述DMA控制器;其中,所述目标图像具备第二风格的画风,所述第二风格有别于所述第一风格,所述运算指令为预先设置用于图像画风转换的指令;
所述DMA控制器将所述目标图像存储至所述第二地址对应的存储空间中;
其中,所述计算装置还包括寄存器单元以及控制器单元,所述帧图像包括待转帧图像以及参考帧图像,所述待转帧图像包括第i个和第i+1个待转帧图像,在获得与所述第i个和第i+1个待转帧图像各自对应的第i个目标图像和第i+1个目标图像后,所述方法还包括:
所述控制器单元从所述寄存器单元中提取调用运动估计算法关联的第三运算指令,并发送给所述运算单元;
所述运算单元调用运动估计算法关联的第三运算指令,将第i个目标图像以及第i+1个目标图像各自划分成若干个小区域,并搜索出每个区域在相邻帧图像中的位置,得到运动矢量;
根据所述运动矢量,从所述第i+1个目标图像中找出对应的区域,和预测误差相加后得到第i+2个预测帧图像,所述第i+2个预测帧图像与第i+2个待转帧图像对应。
2.根据权利要求1所述的方法,其特征在于,所述参考帧图像的画风为用于指示所述待转帧图像所需转换的第二风格;所述运算单元获取运算指令,以调用所述运算指令对所述帧图像进行画风转换处理,从而获得目标图像包括:
所述控制器单元从所述寄存器单元中提取第一网络模型关联的第一运算指令以及第二网络模型关联的第二运算指令,并发送给所述运算单元;
所述运算单元调用所述第一网络模型关联的第一运算指令,根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理,从而获得预测帧图像;
所述运算单元调用所述第二网络模型关联的第二运算指令,分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断;
所述运算单元在满足预设的判断条件时,将所述预测帧图像作为所述目标图像;否则,更新所述第一网络模型,重新执行所述调用所述第一网络模型关联的第一运算指令,根据所述参考帧图像指示的画风对所述待转帧图像进行画风转换处理,从而获得预测帧图像的步骤;
其中,所述判断条件分别与所述预测帧图像、所述待转帧图像以及所述参考帧图像均关联,所述第一网络模型以及所述第二网络模型为用户侧或终端侧预先设置的。
3.根据权利要求2所述的方法,其特征在于,所述运算单元调用所述第二网络模型关联的第二运算指令,分别对所述预测帧图像、所述待转帧图像以及所述参考帧图像进行图像过滤以及条件判断包括:
所述运算单元将所述预测帧图像、所述待转帧图像以及所述参考帧图像分别作为第二网络模型的输入,从而获得所述预测帧图像对应的中间图像数据Pij或中间图像数据Aij、所述待转帧图像对应的中间图像数据Fij以及所述参考帧图像对应的中间图像数据Gij;
所述运算单元在中间图像数据Fij、Pij、Gij、Aij满足预设的判断条件时,则确定所述预测帧图像为所述目标图像;
其中,所述第二网络模型包括:所述判断条件包括:L小于或等于预设阈值,Z为所述预测帧图像,X为所述待转帧图像,Y为所述参考帧图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海寒武纪信息科技有限公司,未经上海寒武纪信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810801236.3/1.html,转载请声明来源钻瓜专利网。





