[发明专利]使用深度学习对非欧式3D数据集的自动语义分割

说明书

本发明涉及一种用于对点云进行语义分割的计算机实现的方法，包括：接收点云，该点云包括表示3D空间中的向量的点，点表示预定对象，优选地是牙颌面结构的一部分，该牙颌面结构包括牙列，该牙列包括牙齿；使用非均匀重采样算法确定点云的一个或多个子集，该一个或多个子集中的每一个包括在点云的选定点的预定空间距离内排列的第一数量的点和在大于预定空间距离的空间距离处排列的第二数量的点，第一数量的点表示对象在选定点周围的一个或多个精细特征，而第二数量的点表示对象的一个或多个全局特征；将点的一个或多个子集中的每一个提供给深度神经网络DNN的输入，该深度神经网络被训练为根据与对象关联的多个类别对被提供给该DNN的输入的一个或多个子集中的每一个子集的点进行语义分割；以及对于提供给DNN的输入的子集的每个点，在DNN的输出处接收多元素向量，其中，向量的每个元素表示该点属于对象的多个类别中的一个的概率。

技术领域

本发明涉及使用深度学习对非欧式(non-Euclidean)3D数据集进行自动语义分割，并且特别地但不排他地涉及使用深度学习对非欧式3D数据集进行语义分割的系统和方法、用于训练此类深度学习神经网络的方法、以及使用此类方法的计算机程序产品。

背景技术

用于口外成像(例如，X射线全景、头影测量和锥形束计算机断层扫描)和口内成像(例如，激光或结构光投影扫描仪)的数字设备的出现一直是开发计算机辅助牙科治疗系统的驱动力，这些系统能够分析患者的不同图像数据(通常是3D图像数据)源并且能够从中提取有用的临床信息。此类系统可以支持一个或多个临床工作流程，例如用于种植和/或正畸的临床工作流程，以便系统能够确定牙科治疗计划或协助确定牙科治疗计划。3D CT扫描提供了非常有用的信息，但这些扫描的分辨率无法提供在关于牙列以及更一般地说关于患者的牙颌面结构的准确且详细的信息是必不可少的领域中最佳牙齿规划所需的准确性和细节。因此，在那种情况下，人们希望依赖更准确的数据源，例如由口内扫描仪确定的牙齿和牙龈(齿龈)的扫描表面的高分辨率3D数据表示。

这种3D数据表示的准确自动语义分割是牙科治疗系统的必要特征，并且包括基于国际牙科联盟(FDI)标准向每个数据点分配标签，例如，标记属于特定牙冠的所有点。FDI规定了32个标签，指代例如可能存在于健康的成年人的上颌和下颌的每个中的16颗牙齿。因此，问题涉及在大的3D数据集中找到多个类别(例如，16或32个类别加上牙龈的一个类别)。在基于表示牙列的3D数据集构建准确的3D牙科模型时，可能出现许多问题。一个问题涉及牙列(牙齿在牙弓上的排列)，其中，两个相邻的牙冠(例如，两个磨牙)的外观非常类似。因此，向3D数据集中的点分配正确的标签需要附加的信息，例如牙弓上一颗牙齿相对于一颗或多颗其他牙齿的相对位置。此外，牙列中存在异常(例如，缺失一颗或多颗牙齿)和/或形状变形使得表示牙列的3D数据的自动语义分割成为计算机的具有挑战性的任务。其他问题与数据采集有关，例如部分丢失的数据(例如，由于扫描过程中的遮挡)、缺乏通用坐标系、存在噪声、异常值(outlier)等。

口外成像数据(例如，3D X射线数据)通常以欧式类型格式提供，例如，其中每个体素与3D网格中的预定位置相关联的体素表示。能够使用深度学习对体素化的CBCT数据执行语义分割(分类法)的系统在本领域中是已知的。例如，在Miki等人的文章“Classificationof teeth in cone-beam CT using deep convolutional neural network(使用深度卷积神经网络对锥形束CT中的牙齿进行分类)”，Computers in Biology and Medicine 80(生物与医学计算机80)(2017)，第24-29页中，描述了经过训练将牙齿的2D CBCT图像分类为7种不同牙齿类型的2D深度卷积神经网络系统。欧式类型3D数据集(例如，体素化的3D数据表示)特别适合由经训练的深度神经网络处理，因为体素表示既提供关于数据集中特征的局部信息，也提供关于数据集中特征的全局信息(例如，关于体素相对于特定体素表示的信息)。