[发明专利]一种图像处理方法和装置

说明书

本发明实施例公开了一种图像处理方法和装置；本发明实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；该方案可以减少误检和漏检的概率，大大提高分割的精准性，以及改善图像的融合效果。

技术领域

本发明涉及计算机技术领域，具体涉及一种图像处理方法和装置。

背景技术

随着智能移动终端的普及，随时随地进行拍摄记录已经逐渐成为人们生活的一种方式，以此同时，图像处理，比如对图像进行美化或特效等处理也越来越受到人们的欢迎。

在特效处理中，元素替换是最为常见的技术之一。以替换天空元素为例，在现有技术中，一般可以基于图像中天空的颜色和位置等信息，进行阈值判断，然后，根据判断结果对图像进行天空分割，并将分割后得到的天空区域替换为其他的元素，比如烟火、驯鹿、或二次元太空，等等，从而使得处理后的图像可以达到一种特殊的效果。

在对现有技术的研究和实践过程中，本发明的发明人发现，由于现有方案在对图像进行区域划分时，主要是基于颜色和位置等信息进行阈值判断，因此，容易造成误检和漏检，大大影响分割的精准性、以及图像的融合效果，比如产生失真或不够平滑，等等。

发明内容

本发明实施例提供一种图像处理方法和装置；可以提高分割的精准性，以及改善融合效果。

本发明实施例提供一种图像处理方法，包括：

接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

基于条件随机场对所述初始概率图进行优化，得到分割效果图；

根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

相应的，本发明实施例还提供一种图像处理装置，包括：

接收单元，用于接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取单元，用于获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

预测单元，用于根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

优化单元，用于基于条件随机场对所述初始概率图进行优化，得到分割效果图；

融合单元，用于根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

本发明实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。