[发明专利]一种带有触感体验的沉浸式虚拟试衣方法及系统

权利要求书

1.在一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于它包括以下步骤：

步骤一：建立织物触感的描述模型、分类器及仿真模型库。

步骤二：对织物纹理区域高度估算并建立局部织物仿真模型库。

步骤三：基于人体三维模型构建碰撞体模型。

步骤四：衣物模型与人体的实时碰撞检测。

步骤五：结合力反馈设备进行触感模拟。

步骤六：沉浸式渲染交互及显示。

2.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤一为：

以织物的伸缩性、剪切性、弯曲性及表面粗糙程度为主要性质建立织物触感描述模型，使其涵盖织物的编织方式(如经编、纬编等)及织物的面料(棉、麻、丝绸、呢绒等，在实际仿真模型的建立中，以质点间的结构弹簧表示其伸缩性，剪切弹簧表示其剪切性，弯曲弹簧表示其弯曲性，以表面设置的摩擦系数表示其粗糙程度。对上千张织物图片进行图像标注，制作织物数据库，并将其作为训练数据。构建CNN网络，对织物数据进行训练，训练后得到织物分类器模型，并保存模型。将任一织物图片作为输入则可进行触感模型的自动建立。

3.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤二为：

针对单件织物创建局部仿真模型，以供试衣时切换选择。首先依据步骤一种建立的分类器对局部织物图片进行分类，并建立其仿真模型。针对带有纹理的图片，首先采用SFS算法还原其纹理高度，并用于仿真模型中模拟凹凸感。使用如下公式对纹理高度进行估算：；其中为位置处的像素灰度，，，，，为倾角，为仰角，为该像素的高度。

4.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤三为：

通过深度传感器实时采集数据，采用TSDF模型融合深度数据，并经过滤波及光线投影算法完成基本人体三维模型的建立。采用二次误差测度算法进行网格精简，以节省后续计算的时间开支。估算精简后三维模型的关节位置，将实时跟踪到的骨骼信息与其进行绑定，至此得到能够实施模拟人体姿态的三维碰撞体模型。

5.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤四为：

首先引进基于位置的动力学方法对每个质点添加约束条件，以减少质点的运动模型的求解时间。采用包围盒算法，在碰撞体周围设立阈值快速筛去大部分未与人体模型发生碰撞的质点，对于进入包围盒的质点，进一步分析其与三角网格的接触状态，以此节省计算开销。利用深度相机采集到的深度数据，与衣物模型从仿真空间转换至实际空间的距离进行对比，确保衣物始终不会穿透人体模型。

6.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤五为：

当用户选择虚拟触摸功能时，将双指置于力反馈设备之上，系统将读取当前织物的局部三维仿真模型，并显示于视野，用户可通过手势进行切换选择。力反馈设备实时检测并计算双指相对于仿真模型的位置，并根据按压与摩擦力度实时模拟局部织物模型的形变程度，显示于用户视野中。

7.根据权利要求1所述的一种带有触感体验的沉浸式虚拟试衣方法及系统，其特征在于所述的步骤六为：

将通过彩色镜头采集到的人物场景视频流与虚拟的衣物模型渲染叠加后，在液晶型显示器上进行实时显示，以便用户及同伴可从中欣赏试衣效果。当用户佩戴头戴式全息投影透镜时，通过人体骨架信息估算双目位置，将透镜的视点置于其上，当视线水平时，该设备将不在液晶显示屏的内容上进行处理，而当用户低头且目光相交于自身时，该设备将在视野中的人体视频上叠加衣物模型，以达到沉浸式体验。