[发明专利]经由实时增强可视化的模拟正畸处理

说明书

本发明公开了一种用于使用增强现实来模拟正畸处理的系统和方法。从数字相机接收用户的面部的电子图像，并且识别图像中的感兴趣区域，其中该区域包括用户的牙齿。将虚拟正畸器具放置在图像中的用户的牙齿上，并且在电子显示装置上显示具有虚拟正畸器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。该系统和方法可显示用虚拟器具增强的用户的面部的3D表示。用户的增强图像或3D表示也可被补充以用于显示用户的面部解剖结构的图像或模型，诸如x射线或锥束计算机断层扫描图像。

技术领域

本申请涉及牙科正畸处理。

背景技术

增强现实面部过滤器诸如SNAPCHAT或INSTAGRAM产品的使用正变得日益普及。然而，这些过滤器主要用于当今流行的文化中，仅用于娱乐目的，诸如在视频增强中实时地在视觉上向人类受检者的面部或头部施用毛发、化妆品、眼镜、面部毛发和帽子的再现。需要扩展该技术以用于医疗或牙科应用。

发明内容

用于模拟本发明的实施方案的正畸处理的方法包括接收用户的面部的电子图像以及识别包括用户的牙齿的图像中的感兴趣区域。将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，并且在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。

本发明的实施方案的用于模拟正畸处理的系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于从相机接收用户的面部的电子图像，识别图像中包括用户的牙齿的感兴趣区域，将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，以及在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。

本发明的实施方案的用于模拟正畸处理的另一种方法包括接收用户的面部的电子图像并检索用户的面部解剖结构的电子图像或模型。该方法还包括：识别图像中的感兴趣区域，其中感兴趣区域包括用户的牙齿；以及在图像中将虚拟正畸器具放置在用户的牙齿上。在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。

本发明的实施方案的用于模拟正畸处理的另一系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于接收用户的面部的电子图像，检索用户的面部解剖结构的电子图像或模型，识别所述图像中的感兴趣区域(其中感兴趣区域包括用户的牙齿)，将虚拟正畸器具放置在图像中的用户的牙齿上，以及在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。

附图说明

附图被结合到本说明书中且构成本说明书的一部分，并且附图与描述一起解释本发明的优点和原理。在附图中，

图1为用于模拟正畸处理的系统的图示；

图2为用于模拟正畸处理的方法的流程图；

图3为示出检测到的面部的示例的图像的表示；

图4为示出面部界标的图像的表示；

图5为示出面部姿态估计的图像的表示；

图6示出了裁剪的感兴趣区域；

图7A-7C示出了应用于反向通道的自适应阈值；

图8A-8C示出了应用于亮度通道的自适应阈值；

图9A和图9B示出了感兴趣区域的打开和闭合；

图10示出了检测边缘；