[发明专利]基于改进Transformer模型的手语视频生成方法

摘要

本发明提供了一种基于改进Transformer模型的手语视频生成方法以及装置。本发明中方法首先提取手语视频中的骨骼姿态序列，去除冗余信息以减少计算量。另外，考虑到时空信息对生成手语视频精度的重要性，设计富语义嵌入模块将位置和速度信息编码到相同的高维空间中作为模型的输入，提高关节运动的协调性，以提高特征表述的精确性。最后，构建呈金字塔结构的编码器‑解码器模型。编码器接受一个口语句子作为输入，并将序列中的信息编码为中间表示。然后解码器以半自回归的方式解码中间表示为目标手语姿态序列。通过本发明能够有效提高语义信息利用率和动作整体表达能力，由此明显提升手语视频生成的准确度和速度。