[发明专利]一种基于blendshape的数字人驱动系统

说明书

本发明提供一种基于blendshape的数字人驱动系统，网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据存储到原始数据队列中；服务解析模块，解析网络数据，将网络数据转换成对应数字人的结构体数据，并放入帧序列队列中；数字人驱动模块，在虚幻引擎中的每一次主循环中，从帧序列队列中取走第一帧，然后设置给虚幻引擎的骨骼网格提对象的对应通道的blendshape上面；状态检测模块，判断状态，通过http向用户传递一个状态信息；视频流传输模块，通过网页即时通信将虚幻引擎渲染的画面流入网页即时通信代理服务器中，解析后显示在网页浏览器上，实现了跨平台的部署方式。

技术领域

本发明属于角色渲染技术领域，具体涉及一种基于blendshape的数字人驱动系统。

背景技术

目前在市场上有2家主要从事数字人工作的公司，分别为faceme和soul machine,他们的数字人形象是通过自己的系统来完成数字人的渲染和驱动的，这就造成了角色渲染效果取决于渲染器的问题。而且如果需要部署到移动设备的话，需要将画面的效果进行2次打折。为了解决上述问题，本申请提出一种能够快速的实现不同应用场景下的数字人部署的基于blendshape的数字人驱动系统。

发明内容

本发明的目的是提供一种基于blendshape的数字人驱动系统，以解决现有的数字人渲染工作在不同应用场景下部署会出现画面效果降低的问题。

本发明提供了如下的技术方案：

一种基于blendshape的数字人驱动系统，包括网络接收模块、服务解析模块、数字人驱动模块、状态检测模块和视频流传输模块，所述网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据存储到原始数据队列中；所述网络数据包括音频数据和视频数据；所述服务解析模块，采用独立线程解析网络数据，将网络数据转换成对应数字人的结构体数据，并将结构体数据放入帧序列队列中；所述数字人驱动模块，在虚幻引擎中的每一次主循环中，从帧序列队列中取走第一帧，然后设置给虚幻引擎的骨骼网格提对象的对应通道的blendshape上面；所述状态检测模块，当用户有数据的时候数字人进入listen状态，当用户输入结束数字人进入talk状态，当用户结束会话时候进入idle状态，此时通过http向用户传递一个状态信息；所述视频流传输模块，通过网页即时通信将虚幻引擎渲染的画面流入网页即时通信代理服务器中，该服务器将视频流数据解析后显示在网页浏览器上。

进一步的，所述网络数据中的音频数据通过BASE64解码方式转换为WAV/RAW数据。

进一步的，将所述从帧序列队列中取走第一帧的音频数据设置给soundprocedure对象完成音画对齐。

进一步的，所述网络数据为为json数据格式。

本发明的有益效果是：

本发明一种基于blendshape的数字人驱动系统，使用了虚幻引擎作为数字人驱动的平台，将数据进行解析，驱动，返回。实现了数字人角色状态数据的流转，同时将虚幻引擎渲染的画面传递给浏览器端，实现了跨平台的部署方式，最终实现在不同应用场景下的数字人的快速部署。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明框架示意图；

图2是本发明工作流程示意图。

具体实施方式

如图1所示，一种基于blendshape的数字人驱动系统，包括网络接收模块、服务解析模块、数字人驱动模块、状态检测模块和视频流传输模块。

如图2所示：