[发明专利]微创手术辅助方法、装置、设备及存储介质

说明书

本发明公开了一种微创手术辅助方法、装置、设备及存储介质，其中方法包括：获取连续的多帧当前手术视频；利用预先训练好的语义分割网络从关键帧中分割得到手术器械图像特征和目标区域图像特征；将当前手术视频、手术器械图像特征、目标区域图像特征输入至手术动作预测模型，得到手术动作，该模型包括编码器和第一全连接层，编码器从当前手术视频、手术器械图像、目标区域图像中提取得到目标合并特征并交由第一全连接层预测得到手术动作；根据手术动作、目标区域、手术器械生成三元组信息并输出。本发明通过利用手术动作预测模型对当前手术视频进行特征分析，再给出合理的手术动作建议，以辅助医生精准完成微创手术过程中的细粒度手术动作。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种微创手术辅助方法、装置、设备及存储介质。

背景技术

腔镜手术是一门新发展起来的微创方法，临床应用广泛，其具有创伤小，手术视野放大，对周围组织损伤低，术后伤口疼痛轻，美观，恢复快，并发症少，住院天数少，费用负担小等优点，已广泛应用于腹腔和颅腔手术中。

通常情况下，一台微创手术的开展需要主刀医生、一助、二助、器械护士、麻醉医师、巡回护士等医护人员，其中主刀医生是手术台上的决策者，其他人配合主刀医生完成相关任务，例如二助需要持镜、器械护士需要管理传递器械，手术能否成功主要取决于主刀医生的医技以及其他助手与主刀医生的默契配合程度。目前微创手术主要采用腔镜，呈现在显示器上供医生观察，观察时医生需要不断地在手术部位和显示器支架移动视线，对于主刀医生来说，由于微创手术时是通过腔镜成像间接观察手术区域，丢失深度信息，影响其对手术环境把控，成像方位不固定和创口点约束下的手术动作进一步削弱了主刀医生的手眼协调能力，从而给外科医生很大的挑战，使得外科医生的技巧成长需要非常长的时间，而对于助手来说，需要对主刀医生的操作心领神会、下一步动作未卜先知，提供稳定而准确的腔镜视野。因此，腔镜手术的成功与否往往极大依靠医生个人经验，医生一旦在手术中发现超出个人经验的无法处理的复杂情况，可能会导致手术失败。

发明内容

有鉴于此，本申请提供一种视频优化方法、装置、终端设备及存储介质，以辅助医生精准完成微创手术。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种微创手术辅助方法，包括：获取连续的多帧当前手术视频；利用预先训练好的语义分割网络从关键帧中分割得到手术器械图像特征和目标区域图像特征；将当前手术视频、手术器械图像特征、目标区域图像特征输入至预先训练好的手术动作预测模型，得到手术动作，手术动作预测模型包括编码器和第一全连接层，编码器从当前手术视频、手术器械图像、目标区域图像中提取得到目标合并特征，第一全连接层根据目标合并特征预测得到手术动作；根据手术动作、目标区域、手术器械生成三元组信息并输出。

作为本申请的进一步改进，编码器包括视频编码模块、第一交叉注意力网络、第一池化层和第二池化层，视频编码模块分别与第一交叉注意力网络、第二池化层连接，第一交叉注意力网络与第一池化层连接，第一池化层、第二池化层均与第一全连接层连接；编码器从当前手术视频、手术器械图像、目标区域图像中提取得到目标合并特征，包括：将当前手术视频输入至视频编码模块进行编码，得到视频全局特征；将手术器械图像特征、目标区域图像特征对齐后进行拼接，得到初始二元组特征；将初始二元组特征、视频全局特征输入至第一交叉注意力网络进行处理得到目标二元组特征；利用第一池化层对目标二元组特征进行池化，且利用第二池化层对视频全局特征进行池化；将池化后的目标二元组特征和池化后的视频全局特征进行拼接，得到目标合并特征。

作为本申请的进一步改进，手术动作预测模型还包括解码器，解码器包括第二交叉注意力网络和与第二交叉注意力网络连接的第三池化层，编码器与第二交叉注意力网络连接；将池化后的目标二元组特征和池化后的视频全局特征进行拼接，得到目标合并特征，包括：将池化后的目标二元组特征和池化后的视频全局特征进行拼接得到初始合并特征；将初始合并特征和随机初始化特征输入至第二交叉注意力网络进行处理得到解码特征；利用第三池化层对解码特征进行池化操作；将池化后的解码特征与初始合并特征进行拼接，得到目标合并特征。