[发明专利]使用卷积神经网络进行即时单粒子重建

说明书

使用卷积神经网络进行即时单粒子重建。使用与选定的粒子类型相关联的图像测试集(电子显微照片)评估一组卷积神经网络(CNN)中的CNN。基于所述评估选择优选的CNN，并且所述优选的CNN用于处理测试样本的电子显微照片。可以通过人工选择获得所述图像测试集或使用所述选定的粒子类型的模型生成所述图像测试集。在处理另外的电子显微照片中使用所述优选的CNN选择图像时，可以将所述选定的图像添加到训练集中或用作另外的训练集，以重新训练所述优选的CNN。在一些实例中，仅重新训练所述优选的CNN的选定层。在其它实例中，基于类似结构的粒子的二维投影用于CNN训练或重新训练。

技术领域

本公开涉及如在生物粒子的低温电子断层扫描中的粒子选择。

背景技术

电子显微镜已经被用来研究生物粒子的结构。通常，将粒子标本保持在低温下，并用低电子束剂量获得图像(尽管可以使用离子或其它带电粒子束(CPB)获得图像)，以避免改变标本。因此，含有此类粒子的图像具有低对比度和低信噪比，并且难以可靠地选择用于结构测定的图像中的预期粒子的实例。在许多情况下，用户通过繁琐、耗时的手动过程选择和研究大量粒子。在其它情况下，已经使用卷积神经网络(CNN)来识别期望的粒子。不幸的是，训练CNN通常需要识别和/或分类数百或数千个粒子，以产生用于建立特定CNN的合适的训练集。即使特定粒子的合适的训练集可用，仍难以开发用于识别和分类不同粒子的CNN。

发明内容

方法包括使用至少已部分训练的人工神经网络从多幅粒子图像中提取粒子图像子集。对所述粒子图像子集的粒子图像进行分类，以定义至少一组相似的粒子图像。至少基于所述经分类的粒子图像和所述至少一组相似的粒子图像，获得粒子的三维(3D)重建。基于所述经分类的粒子图像或所述粒子的3D重建的投影，更新与所述至少已部分训练的人工神经网络相关联的粒子图像训练集。通常，响应于粒子图像的分类或分组，立即更新所述训练集。在一些实例中，更新所述粒子图像训练集包含括注解所述子集的所述粒子图像中每幅粒子图像的质量，以及基于所述经注解的粒子图像，更新所述粒子图像训练集。在特定实例中，所述注解包括接受或拒绝表征。在另外的实例中，所述粒子图像训练集的更新包括对每幅经分类的粒子图像的质量进行评分、用学习权重对每幅经分类的粒子图像加权以及将已评分和加权的经分类的粒子图像提供给所述粒子图像训练集。在其它替代方案中，用接受或拒绝表征注解所述经分类的粒子图像中的一些或全部粒子图像。

根据其它实施例，基于所述粒子的3D重建的二维(2D)投影，将相应的3D质量匹配分数应用于每幅已提取的粒子图像，其中所述3D重建的每个2D投影与所述3D重建的不同朝向相关联。然后，将所述已提取的粒子图像及其相应的3D质量匹配分数提供给所述粒子图像训练集。在另外的实例中，基于自相似粒子的2D组平均数将相应的2D质量匹配分数应用于每幅已提取的粒子图像，并且将所述已提取的粒子图像及其相应的2D质量匹配分数提供给所述粒子图像训练集。在一些情况下，通过基于所述粒子的3D重建的2D投影将相应的3D质量匹配分数应用于每幅已提取的粒子图像，更新所述粒子图像训练集，其中所述3D重建的所述2D投影与所述3D重建的至少两个不同取向相关联。将所述已提取的粒子图像及其相应的3D质量匹配分数提供给所述粒子图像训练集。