[发明专利]基于平滑约束逆向机械模型的机器人表情模仿方法及装置

权利要求书

1.一种基于平滑约束逆向机械模型的机器人表情模仿方法，其特征在于，所述方法包括：

A：提取机器人面部特征向量：

B：构建基于面部特征序列到电机控制序列的平滑约束逆向机械模型：所述B步骤，包括：

B1：利用公式，构建基于面部特征序列到电机控制序列的逆向机械模型，其中，为逆向机械模型输出的电机控制序列，Δt为Kinect摄像头获取机器人面部表情的帧率；为机器人前k时刻的面部特征序列，且，Γ()为逆向机械模型；t为当前时刻；k为机器人t刻前的表情帧的数量；d为机器人t刻后的表情帧的数量；Y_t+(d-2)Δt为t+(d-2)Δt时刻的电机控制数据；X_t-(k-2)Δt为t-(k-2)Δt时刻机器人的面部特征向量；

B2：使用多层LSTM编码-解码结构对基于面部特征序列到电机控制序列的逆向机械模型进行建模，并采用d阶多项式拟合电机控制序列的运动趋势参数，基于位移、速度、加速度三者偏差构建平滑约束逆向机械模型；所述B2步骤，包括：

1)利用公式，对平滑约束逆向机械模型Γ()求解，其中，

为L层的编码结构；为L层的解码结构；L为预设的隐含层层数；为机器人t时刻前k帧的面部特征序列；为机器人后t时刻后d帧的电机控制序列；Y_t-Δt为机器人t-Δt时刻的电机控制序列；

2)、利用公式，

构建第j个电机前d个时刻和后d个时刻拟合的多项式函数，其中，

H_j(t+kΔt)为第j个电机t时刻的前d个时刻拟合的多项式函数；为第j个电机t时刻的前d个时刻的拟合函数的第i项多项式系数；F_j(t+qΔt)为第j个电机后d个时刻拟合的多项式函数；为第j个电机后d个时刻拟合函数的第i项多项式系数；

3)、利用公式，α_j＝P^-1U_j，计算j个电机控制序列的平滑系数，其中，

为第j个电机控制序列的待求解平滑系数；为第j个电机前0个时刻拟合函数的第d项多项式系数；为第j个电机前d个时刻拟合函数的第d项多项式系数；为第j个电机后0个时刻拟合函数的第d项多项式系数；为第j个电机后d个时刻拟合函数的第d项多项式系数；P为系数矩阵；U_j为j个电机控制序列在t-(d-1)Δt～t+(d-1)Δt时刻的的位移及零元素构成的向量，

且U_j＝(y_{(t-(d-1)Δt)j},…,y_(t-Δt)j,y_(t)j,y_(t+Δt)j,…,y_{(t+(d-1)Δt)j},0,0,0)^T，y_{(t-(d-1)Δt)j}为第j个电机t-(d-1)Δt时刻的控制位移；y_(t)j为第j个电机t时刻的控制位移；y_{(t+(d-1)Δt)j}为第j个电机t+(d-1)Δt时刻的控制位移；

4)、利用公式，A＝(α₁,…,α_j…,α_n)，1≤j≤n，求解t时刻n个电机控制序列的平滑系数矩阵其中，

A为为各个时刻n个电机构成的平滑系数矩阵；α_j为t时刻n个电机控制序列的平滑系数；

5)、将平滑系数矩阵代入公式，

计算第j个电机t时刻前d帧的控制位移第j个电机t时刻后d帧的控制位移

6)、将步骤5)计算的n个电机t时刻后d帧的控制位移代入目标函数，

计算平滑约束逆向机械模型的最优参数，其中，

J(W^E,W^D,b^E,b^D)为基于平滑约束逆向机械模型的最优参数；W^E为平滑约束逆向机械模型的第一模型参数的矩阵；W^D为平滑约束逆向机械模型的第二模型参数的矩阵；b^E为平滑约束逆向机械模型的第三模型参数的矩阵；b^D为平滑约束逆向机械模型的第四模型参数的矩阵；J()为目标函数；min为最小值求值函数；q为机器人t刻后的表情帧的编号，q∈[0,d-1]；F(t+qΔt)为机器人n个电机在t+qΔt时刻的真实控制序列的位移向量；F'(t+qΔt)为机器人n个电机在t+qΔt时刻的真实控制序列的速度向量的矩阵；F(t+qΔt)为机器人n个电机在t+qΔt时刻的真实控制序列的加速度向量的矩阵；t为当前时刻；为机器人n个电机在t+qΔt时刻位移向量的估算值；为机器人n个电机在t+qΔt时刻速度向量的估算值的矩阵；为机器人n个电机在t+qΔt时刻加速度向量的估算值的矩阵；α为以速度和加速度为平滑约束的权重，且α≥0；∑为求和函数；

C：以表演者实时面部特征为目标，基于平滑约束逆向机械模型生成最优电机控制序列，然后利用所述最优电机控制序列驱动机器人面部电机使所述机器人呈现出与所述表演者的脸部对应的表情。