[发明专利]基于术前图像的手术视频检索

说明书

系统包括显示器和数据库，该数据库包括手术视频、从医学成像设备获得的人体中器官的图像以及从医学成像设备获得的人体中疾病的图像。包括处理器的控制器耦合到存储器、数据库和显示器，并且存储器存储信息，该信息在由处理器执行时使系统执行操作。例如，处理器可以从器官的图像确定第一器官信息，并且从疾病的图像确定第一疾病信息。处理器可以计算第一器官信息和第一疾病信息与索引到手术视频的第二疾病信息和第二器官信息之间的相似度分数。处理器基于相似度分数选择手术视频中的一个或多个，并在显示器上显示手术视频。

相关申请的交叉引用

本申请要求于2018年3月19日提交的美国临时申请第62/644,737号的权益，其全部内容通过引用合并于此。

技术领域

本公开总体上涉及视频检索(retrieval)，并且具体但非排他地涉及手术技术。

背景技术

为了使医生学习如何执行即将到来的手术，对过去的手术病例进行研究和回顾很重要。传统上，通过在手术室亲自观察许多手术来培训医生。这需要大量的外科医生时间(许多手术需要几个小时才能完成)。此外，外科医生必须在患者的地理位置附近，并且手术的类型(和患者的类型)必须与医生要执行的未来手术有关，以使外科医生充分地准备。

附图说明

参照以下附图描述了本发明的非限制性和非穷举性的实施例，其中，除非另外指明，否则贯穿各个视图，相同的附图标记表示相同的部分。并非必须标注元件的所有实例，以免在适当的地方使附图混乱。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。

图1示出根据本公开的实施例的用于检索手术视频(surgical video)的系统。

图2A示出根据本公开的实施例的器官和疾病分割。

图2B示出根据本公开的实施例的用于训练机器学习模型以提供图像相似度分数的示例流程图。

图2C示出根据本公开的实施例的输出到显示器的示例图形用户界面，用于基于一个或多个术前图像检索相关手术视频。

图2D示出根据本公开的实施例的基于一个或多个术前图像检索手术视频的流程图。

图3示出根据本公开的实施例的用于检索手术视频的方法。

具体实施方式

本文描述了用于手术视频检索的系统和方法的实施例。在以下描述中，阐述了许多具体细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，本文描述的技术可以在没有一个或多个具体细节的情况下，或者通过其他方法、组件、材料等来实践。在其他情况下，未详细示出或描述公知的结构、材料或操作，以避免使某些方面模糊。

在整个说明书中，对“一个实施例”或“实施例”的引用是指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在实施例中”不一定都是指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。

本文描述了用于至少部分地基于一个或多个术前图像和/或用户选择的元数据来检索相关手术视频的系统、装置和方法的实施例。这样的手术视频可以表示用于术前计划的重要资源(例如，以帮助外科医生预见挑战并避免潜在危险)。检索与术前计划有关的相关手术录像可能至关重要，因为给定程序(procedure)可能会因患者性别、年龄、体型、疾病阶段、病史、并发症以及许多其他潜在变量而有很大差异。在本公开中，我们呈现一种框架，该框架用于分析术前图像(例如，磁共振图像、计算机断层扫描、X射线图像、正电子发射技术扫描、超声扫描、来自其他医学成像技术的图像等)并从中提取的特征，并基于此信息检索要对患者执行的即将进行的程序的相关(例如，相似)手术视频。