[发明专利]基于区块链的多模态数字人版权管理方法及系统

权利要求书

1.基于区块链的多模态数字人版权管理方法，其特征在于，包括以下步骤：

S1、从客户端将多模态数字人信息上传到后台服务器；

S2、后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；

S3、后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；

S4、后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；

S5、对多模态数字人版权信息进行公示。

2.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S1中数字人信息包括：数字人的身份信息、预设时间段内的数字人音视频数据及数字人图片。

3.根据权利要求2所述的多模态数字人版权管理方法，其特征在于，预设时间段内的数字人音视频数据，通过调用机器视觉算法模型渲染得到；渲染过程包括：对模特进行开模，进行视频录制，对录制的视频进行逐帧提取，得到若干张模特图片，将提取得到的模特图片作为训练集，并调用机器视觉算法模型进行骨骼点检测，通过对抗生成网络图像生成技术，生成带有所检测骨骼点的图片，并拼接成数字人音视频。

4.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S3包括：

S31、先将客户端所上传的数字人信息，调用联盟链网络中的链码进行查询；

S32、从所上传的数字人信息中提取多模态数字人图片数据，根据分布式的安全文件系统中所存储的多模态数字人图片数据判断所上传的数字人形象是否为链中未有的数字人，即是否为首次提交；如果是则转入步骤S33，否则不进行上链操作；

S33、在分布式的安全文件系统中保存客户端所上传的数字人形象，并将文件地址返回给后台服务器。

5.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S4中多模态数字人版权上链的过程包括：

S41、后台服务器将从分布式的安全文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，调用联盟链网络各组织中的背书节点；

S42、背书节点调用链码，并对返回的结果进行签名，处理后发送到区块链网络中的order节点进行排序；

S43、order节点对数据进行批量打包，生成区块，并发送到联盟链网络各组织中的主节点；

S44、主节点将交易发送给联盟链网络中各个peer节点，从而将数据存储到本地；

S45、区块链网络将交易的哈希值返回给后台服务器。

6.根据权利要求5所述的多模态数字人版权管理方法，其特征在于，联盟链网络的共识算法采用PBFT共识算法，并结合了BLS聚合签名的实用拜占庭容错算法：

在Prepare阶段将原本各节点的广播更换为由各节点单点发送Prepare消息给该轮的主节点，在Commit阶段由主节点收集各节点签名，收到2f+1个对区块的签名后，将验证过的这批签名聚合成一个聚合签名，再发送该聚合签名以及参与签名的节点列表给各个参与共识的节点，其中f为作恶节点个数；节点将根据发送过来的参与签名的节点列表获得参与签名节点的公钥组，对该聚合签名进行验证；最后，若各节点对最终的区块及数据验证无误，则通知下一轮出块的主节点。

7.基于区块链的多模态数字人版权管理系统，其特征在于，包括：

信息提交模块，用于从客户端将多模态数字人信息上传到后台服务器；

信息处理模块，用于通过后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；

文件存储模块，用于通过后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；

区块链模块，用于通过后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；对多模态数字人版权信息进行公示。