[发明专利]微创手术辅助方法、装置、设备及存储介质

权利要求书

1.一种微创手术辅助方法，其特征在于，所述方法包括：

获取连续的多帧当前手术视频；

利用预先训练好的语义分割网络从关键帧中分割得到手术器械图像特征和目标区域图像特征；

将所述当前手术视频、所述手术器械图像特征、所述目标区域图像特征输入至预先训练好的手术动作预测模型，得到手术动作，所述手术动作预测模型包括编码器和第一全连接层，所述编码器从所述当前手术视频、所述手术器械图像、所述目标区域图像中提取得到目标合并特征，所述第一全连接层根据所述目标合并特征预测得到所述手术动作；

根据所述手术动作、所述目标区域、所述手术器械生成三元组信息并输出；

其中，训练所述手术动作预测模型包括对所述编码器进行预训练；

当对所述编码器进行预训练时，所述编码器还包括文本编码模块，所述文本编码模块与第一全连接层连接；

对所述编码器进行预训练，包括：

获取训练样本视频以及与所述训练样本视频对应的病程文本；

将所述训练样本视频输入至预训练后的编码器进行编码，得到第一合并样本特征；

将所述病程文本输入至所述文本编码模块进行编码，得到病程文本特征；

利用所述第一合并样本特征、所述病程文本特征进行对比学习，得到对比学习结果；

根据所述对比学习结果以及对比学习对应的第三预设损失函数更新所述编码器。

2.根据权利要求1所述的微创手术辅助方法，其特征在于，所述编码器包括视频编码模块、第一交叉注意力网络、第一池化层和第二池化层，所述视频编码模块分别与所述第一交叉注意力网络、所述第二池化层连接，所述第一交叉注意力网络与所述第一池化层连接，所述第一池化层、所述第二池化层均与所述第一全连接层连接；所述编码器从所述当前手术视频、所述手术器械图像、所述目标区域图像中提取得到目标合并特征，包括：

将所述当前手术视频输入至所述视频编码模块进行编码，得到视频全局特征；

将所述手术器械图像特征、所述目标区域图像特征对齐后进行拼接，得到初始二元组特征；

将所述初始二元组特征、所述视频全局特征输入至所述第一交叉注意力网络进行处理得到目标二元组特征；

利用所述第一池化层对所述目标二元组特征进行池化，且利用所述第二池化层对所述视频全局特征进行池化；

将池化后的目标二元组特征和池化后的视频全局特征进行拼接，得到所述目标合并特征。

3.根据权利要求2所述的微创手术辅助方法，其特征在于，所述手术动作预测模型还包括解码器，所述解码器包括第二交叉注意力网络和与所述第二交叉注意力网络连接的第三池化层，所述编码器与所述第二交叉注意力网络连接；

所述将池化后的目标二元组特征和池化后的视频全局特征进行拼接，得到所述目标合并特征，包括：

将池化后的目标二元组特征和池化后的视频全局特征进行拼接得到初始合并特征；

将所述初始合并特征和随机初始化特征输入至所述第二交叉注意力网络进行处理得到解码特征；

利用所述第三池化层对所述解码特征进行池化操作；

将池化后的解码特征与所述初始合并特征进行拼接，得到所述目标合并特征。

4.根据权利要求3所述的微创手术辅助方法，其特征在于，训练所述手术动作预测模型还包括对预训练之后的编码器和解码器进行综合训练。