[发明专利]扩散模型处理方法及装置、图片处理方法及装置在审
| 申请号: | 202310177857.X | 申请日: | 2023-02-16 |
| 公开(公告)号: | CN116309135A | 公开(公告)日: | 2023-06-23 |
| 发明(设计)人: | 阳展韬;沈宇军;张晗;冯睿蠡;黄梁华;刘宇;张轶飞;赵德丽;周靖人 | 申请(专利权)人: | 阿里巴巴达摩院(杭州)科技有限公司 |
| 主分类号: | G06T5/00 | 分类号: | G06T5/00;G06T5/50 |
| 代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 李晓庆 |
| 地址: | 310023 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 扩散 模型 处理 方法 装置 图片 | ||
1.一种扩散模型处理方法,包括:
确定扩散模型的时间步集合、以及所述时间步集合对应的时间步区间;
从所述时间步集合中确定第一时间步,并根据所述时间步区间确定所述第一时间步对应的目标时间步,其中,所述第一时间步为所述时间步集合中的任一时间步;
将所述第一时间步对应的加噪图片以及所述目标时间步,输入扩散模型,获得所述加噪图片对应的预测噪声;
根据所述加噪图片对应的目标噪声以及所述预测噪声,处理所述扩散模型。
2.根据权利要求1所述的扩散模型处理方法,所述将所述第一时间步对应的加噪图片以及所述目标时间步,输入扩散模型,获得所述加噪图片对应的预测噪声之前,还包括:
确定初始图片以及、所述第一时间步对应的目标噪声;
根据所述初始图片以及所述目标噪声,确定所述第一时间步对应的加噪图片以及、所述加噪图片对应的目标噪声。
3.根据权利要求1所述的扩散模型处理方法,所述确定扩散模型的时间步集合、以及所述时间步集合对应的时间步区间,包括:
确定扩散模型的时间步集合,并根据预设划分条件对所述时间步集合中的时间步进行区间划分,获得所述时间步集合对应的时间步区间。
4.根据权利要求1所述的扩散模型处理方法,所述根据所述时间步区间确定所述第一时间步对应的目标时间步,包括:
确定所述时间步区间的区间端点,根据所述区间端点确定所述第一时间步对应的目标时间步。
5.根据权利要求4所述的扩散模型处理方法,所述确定所述时间步区间的区间端点,根据所述区间端点确定所述第一时间步对应的目标时间步,包括:
确定所述时间步区间的区间左端点,并将所述区间左端点确定为所述第一时间步对应的目标时间步,其中,所述时间步区间的区间右端点为下一时间步区间包括的左端点。
6.根据权利要求4所述的扩散模型处理方法,所述确定所述时间步区间的区间端点,根据所述区间端点确定所述第一时间步对应的时间步,包括:
确定所述时间步区间的区间右端点,并将所述区间右端点确定为所述第一时间步对应的目标时间步,其中,所述时间步区间的区间左端点为上一时间步区间包括的右端点。
7.根据权利要求1所述的扩散模型处理方法,所述根据所述加噪图片对应的目标噪声以及所述预测噪声,处理所述扩散模型,包括:
根据所述加噪图片对应的目标噪声以及所述预测噪声计算噪声损失函数,并根据所述噪声损失函数调整所述扩散模型的网络参数,并在满足预设训练结束条件的情况下,获得所述扩散模型。
8.根据权利要求1-7任意一项所述的扩散模型处理方法,所述根据所述加噪图片对应的目标噪声以及所述预测噪声,处理所述扩散模型之后,还包括:
确定目标加噪图片,将所述目标加噪图片输入扩散模型,获得所述目标加噪图片对应的预测噪声;
根据所述目标加噪图片以及所述目标加噪图片对应的预测噪声,确定去噪后的目标图片。
9.根据权利要求8所述的扩散模型处理方法,所述确定目标加噪图片,包括:
确定加噪的视频帧集合,并将所述视频帧集合中的任一视频帧,确定为目标加噪图片。
10.一种扩散模型处理装置,包括:
区间划分模块,被配置为确定扩散模型的时间步集合、以及所述时间步集合对应的时间步区间;
目标时间步确定模块,被配置为从所述时间步集合中确定第一时间步,并根据所述时间步区间确定所述第一时间步对应的目标时间步,其中,所述第一时间步为所述时间步集合中的任一时间步;
第一模型预测模块,被配置为将所述第一时间步对应的加噪图片以及所述目标时间步,输入扩散模型,获得所述加噪图片对应的预测噪声;
模型处理模块,被配置为根据所述加噪图片对应的目标噪声以及所述预测噪声,处理所述扩散模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院(杭州)科技有限公司,未经阿里巴巴达摩院(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310177857.X/1.html,转载请声明来源钻瓜专利网。





