[发明专利]一种精确的基于三维人体重建的烧伤面积计算方法

摘要

本发明涉及一种精确的基于三维人体重建的烧伤面积计算方法，包括：S1:通过一个RGB摄像头拍摄烧伤患者视频；S2:分割视频中的烧伤患者人体对象，得到该病人的轮廓剪影图像序列；S3:估计视频中烧伤患者的人体姿态；S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三维人体模型；S5:生成纹理；S6:参数化烧伤患者的三维人体模型；S7:分割烧伤创面区域。S8:计算烧伤区域面积。本发明将曲面位移扩展的参数化人体模型和一种将动态人体轮廓锥变形融合在一个共同参照系中的新方法相结合，创新性地从一个单目视频中重建包括皮肤和头发细节的个性化人体，从而更精确地计算烧伤区域面积。

主权项

1.一种精确的基于三维人体重建的烧伤面积计算方法，其特征在于，包括以下步骤：S1:通过一个RGB摄像头拍摄烧伤患者视频；S2:分割视频中每一帧的烧伤患者人体对象，得到该病人的轮廓剪影图像序列，具体包括：S2.1，预训练大量的标记图像来初始化基础CNN网络，进一步地，训练数据集DAVIS的二元掩码上的网络，使用动量为0.9的随机梯度下降(SGD)迭代50000次，通过镜像和放大来增加数据，学习率设置为10^‑8，并逐渐降低，经过离线训练，网络学会从背景中分割前景对象，将这个网络成为父网络；S2.2，通过进一步训练(微调)特定的图像‑地面实况对的父网络，使用新的权重对整个序列进行测试，对要分割的特定实例进行少量迭代，使得网络可以快速聚焦于该特定实例；S2.3，将烧伤病人的视频按需提取出N帧的图像序列，输入训练好的网络，得到N张分割出患者剪影轮廓的.png图片；S3:估计视频中烧伤患者的人体姿态，具体是将大小为w*h的彩色图像作为输入，并输出图像中识别出的烧伤患者身体关键点的二维位置，具体包括：S3.1，前馈网络同时预测一组身体部位位置的二维置信度图S和一组身体部位相似性的二维向量场L，这组向量场编码了肢体之间的关联程度；S3.2，集合S＝S₁,S₂,…,S_J中有J个置信度图，每个身体部位各有一个置信度图，其中集合L＝L₁,L₂,…,L_C中有C个向量场，每个分支一个，其中L_c中的每个图像位置都编码一个二维向量；S3.3，通过贪婪推理解析置信度图和关联字段，输出图像中烧伤患者的二维关键点；S4:一致性形状估计，基于SMPL模型优化给定的一组估计姿态，使其变形为T型姿态三维人体模型；S5:生成纹理；S6:参数化烧伤患者的三维人体模型；S7:分割烧伤创面区域，具体包括：S7.1，使用R101FA作为骨干网络提取特征图：ResNet101由101层组成，定义输出特征图为C1、C2、C3、C4、C5，最终的特征图为P2,P3,P4,P5，使用一个1*1卷积核通过输出C5得到第一个特征图P5，然后对P5进行上采样，得到P*，并由经过C5处理的3*3个卷积核生成C*，P4映射是C*与P*合并的结果，在遍历所有C之后，就可以构建出P2、P3、P4和P5；S7.2，生成RoI的RPN网络：RPN网络在滑动窗口中心生成N个锚点(锚点比例尺为原始图像)，计算每个锚点的IOU值来判断锚点是正还是负，每张图像都有n个采样的ROI，其正负比为1:3；S7.3，对每个RoI进行目标检测和mask预测：将每个正锚统一成一个固定的大小，用一个全连接网络来提取一个2048维的特征向量，该向量用于分类器和箱形回归器，同时，RoIs将经历两个卷积层，对图像mask进行预测；S8:计算烧伤面积。