[发明专利]一种生成说话人三维运动模型的方法、系统及计算机

说明书

技术领域

本发明属于三维可视化技术领域，尤其涉及一种生成说话人三维运动模型的方法、系统及计算机。

背景技术

现有的自动生成任意人的三维运动模型的方案为：预先建立三维人脸库和三维发型库，对输入的正面人脸照片进行特征点提取和头发分割，分别生成三维人脸模型与三维头发模型，然后将人脸模型与头发模型合成。由于只采取了正面的照片作为输入，照片是二维的，因此，在恢复三维模型时必然失去了很多重要的信息，如侧脸的深度信息，在这种情况下恢复出的三维人模型也必然存在与实际人物的误差。而且，头发的模型也采用从头发数据库里去匹配寻找，而并非直接去恢复，这无疑增加了许多人工合成的因素。由上可知，现有技术实现任意人的三维运动模型是非全自动，需要人工干预。

发明内容

本发明的目的在于提供一种生成说话人三维运动模型的方法、系统及计算机，旨在解决现有技术中存在的实现任意人的三维运动模型是非全自动，需要人工干预，且恢复出的三维人模型也必然存在与实际人物的误差的问题。

本发明是这样实现的，一种生成说话人三维运动模型的方法，所述方法包括以下步骤：

获取摄像头采集的彩色图像的信息以及深度数据信息；

将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；

根据计算出的当前人脸的状态生成被测试人的三维人头模型；

获取被测试人发音的运动轨迹的位移；

根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。

本发明的另一目的在于提供一种生成说话人三维运动模型的系统，所述系统包括：

数据自动采集模块，用于获取摄像头采集的彩色图像的信息以及深度数据信息；

自动实时建模模块，用于将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；

发音驱动模块，用于获取被测试人发音的运动轨迹的位移；根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。

本发明的另一目的在于提供一种包括上面所述的生成说话人三维运动模型的系统的计算机。

在本发明中，本发明实施例是一种融合了三维人头建模技术、三维人头运动模拟技术、人脸检测技术等众多先进技术的一体化系统。本发明实施例的硬件外设部分为一台计算机和一个带有深度数据获取功能的彩色摄像头，如Kinect；软件部分主要由四个模块构成：初始化模块、数据自动采集模块、自动实时建模模块和发音驱动模块。系统启动首先交由初始化模块，打开带有深度数据获取功能的彩色摄像头，初始化各种参数，然后被测试人坐于摄像头之前，调整身体和头部姿势，系统的数据自动采集模块会自动进行检测并提示，当系统提示已检测到目标，就会再次提示，让被测试人缓慢移动头部，从左到右或从右到左转动，系统会自动记录采集人的彩色数据、深度数据、及头部姿态。采集到足够的人物的数据之后，数据自动采集模块会将采集的数据交由自动建模模块。自动实时建模模块会根据采集的数据进行规范化，使用标准模型对其配准，然后完成贴图，生成测试的人三维人模型。最后自动建模模块将变形后的三维人头模型交由发音驱动模块，生成发音的运动模拟。

整个过程，大部分都是系统内部的工作，只是在进行数据采集时需要测试的人进行简单的人机交互。整个流程简单、自动、高效。

本发明实施例能够自动实时建立任意人的三维说话人运动模型，模型建立完成后即可根据发音驱动文件进行发音运动的表达。由于系统为全自动实时生成结果，从而大大增加了三维建模的效率。

另外，本发明实施例外设简单，属低成本设备，且操作简单，只需要简单的人机交互即可生成三维说话人运动模型。

再者，本发明实施例生成三维说话人运动模型质量较高，特别是正面与真人差别不大。由于保留了被测人的头发，使得正面效果更加逼真。

又，本发明实施例在建立任意人的三维说话人运动模型的基础上，也考虑到了生成对任意人声音的变换，虽然不能实时生成个性化语音，但是将此项功能加入到三维说话人运动模型的发音模拟，无疑增加了整个虚拟三维人的真实性。

再者，本发明在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，对于任意一个人，使得生成此人的三维说话模型不仅具有此人的模样而且具有与此人一样的声音，从而使得本发明具有个性化人头与个性化声音结合效果。