[发明专利]一种基于人像分割精度提升的方法、系统和存储介质

说明书

本发明提供一种基于人像分割精度提升的方法、系统和存储介质，所述方法包括：接收关于视频云会议的视频流并从中读取一帧源图像；通过RBF人脸检测网络对所述源图像进行人脸检测，并检测得到源图像中的疑似人脸个数；如果检测到的疑似人脸个数不为零，结合源图像分辨率与各个疑似人脸坐标区域之间的比值关系分别判断各个疑似人脸是否为真实人脸；根据判断结果，如果存在真实人脸，则标记出真实人脸坐标区域；基于真实人脸坐标区域对所述源图像进行人像分割处理，得到对应的二值化灰度图；将二值化灰度图与源图像以及预设的背景图像进行融合，得到融合图像，并展示在视频云会议观看侧的界面。本发明能够提升视频云观看端的人像分割精度。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于人像分割精度提升的方法。

背景技术

视频云会议中的虚拟背景主要用于用户由于个人隐私或所处位置比较敏感时需要将背景信息用已有的图像或视频替换，简称虚拟化。云会议中虚拟背景的功能主要是对视频中的每一帧基于Image Matting（人像分割）生成的二值化灰度图Alpha（一般人像区域为255，背景区域为0，人像与背景交集边缘处为0-255），将当前帧与所要替换的背景图进行融合，最终得到想要的结果图或视频。

Image Matting技术指的是用于传统图像处理或深度学习CNN网络将图像的前景（255）、背景（0）以及前景与背景的衔接边缘区域（0-255）进行分离生成Alpha图，便于后续应用使用，如云会议中的虚拟背景功能。虽然Image Matting技术熟称人像分割，但是Matting与分割有着本质区别，分割指的是将前景和背景或者图像中的物体进行提取并只关心实际分割出的物体IOU（Intersection over Union），Image Matting如前文所述出了需要完成分割的功能外还需要完成前景和背景之间的衔接边缘区域，因为这类区域的Alpha图实际上既有前景信息又有背景信息，所以无法简单的将其完全分离为前景与背景。

现有的Image Matting基本都是针对于图像级的（空域），主要分成两大类，第一类传统图像处理方法，第二类是基于深度学习CNN网络。

基于传统图像处理方法主要有区域增长、分裂、图割、轮廓模型。其中区域增长、分裂则是通过一些种子点，再加上相似性准则来不断扩充区域直到达到类别的边界，直到分割结果完善，典型方法为分水岭算法。所谓的图割则是通过建立一张图，其中以图像像素或者超像素作为图像顶点，然后优化的目标就是要找到一个切割，使得各个子图不相连从而实现分割，前提是移除边的和权重最小，典型的方法有Graphcut。所谓的轮廓模型通过使用连续曲线来表达目标轮廓，并定义一个能量泛函，其自变量为曲线，将分割过程转变为求解能量泛函的最小值的过程，典型的方法有snake模型。

基于深度学习CNN网络主要是基于Encoder和Decoder模型以及外接对边缘修正的小模型进行端到端的输出。Encoder主要是学习图像中的多层高维特征，Decoder主要是通过将学习到的高维特征与低维特征以及原图进行融合学习上采样至原图大小，得到最终所需的输出，外接对边缘修正小模型主要是对输出的Alpha图细节，如头发丝，细小边缘等区域进行精调，典型的网络有FCN、Deep Image Matting等。

由于CNN网络自身的局限性，无法做到100%的精准，因此人像分割网络常常会将无人视频中的一些很像人衣服、轮廓等物体也识别为人像，比如沙发、高靠背椅子、衣架上的大衣等等，都会被人像分割网络识别为人像从而在观看端显示出来，导致观看体验效果急剧下降

发明内容

为了解决上述至少一个技术问题，本发明提出了一种基于人像分割精度提升的方法、系统和存储介质，能够提升视频云观看端的人像分割精度。

本发明第一方面提出了一种基于人像分割精度提升的方法，所述方法包括：

接收关于视频云会议的视频流并从中读取一帧源图像；