[发明专利]一种虚拟装配操作中对准动作识别方法

摘要

本发明属于体感交互领域，具体的说是一种虚拟装配操作中对准动作识别方法。该方法包括以下步骤：步骤一、利用Kinect V2采集25个人体骨骼点；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定。本发明利用Kinect V2设备采集人体骨骼数据，在Unity 3D中的对手部模型和零件进行配装器设定等操作，从而将零件的抓取到配合过程进行的预设定，再根据对准动作中结合程度、对称性和操作复杂进行识别判定，最终给出对准动作的标准时间，填补了现有市场上虚拟装配操作中对准动作识别的空白。

主权项

1.一种虚拟装配操作中对准动作识别方法，其特征在于，该方法包括以下步骤：步骤一、利用Kinect V2采集25个人体骨骼点；25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定；步骤三、对零件和装配进行向量和装配点预设；步骤四、对准动作零件结合程度的判定；步骤五、对准动作对称性的判定；步骤六、对准动作复杂度判定；所述的步骤二的具体方法如下：在Unity3D中对人体手部模型和各机械零件进行碰撞器设定，即手部模型接触零件会给予响应，同时需要对零件进行刚体和重力设定；在可抓取零件中设置1‑2个零件抓取点，定义抓取点坐标为Bi，1(Xi,1,Yi,1,Zi,1)，抓取点间隔大于5cm，单一零件的抓取需要满足零件点均被识别为已完成抓取动作；抓取动作判定要求如下：判定标准1、手部模型与零件发生接触，并触发碰撞器的响应，记录当前时间点i和发生碰撞的手部模型，如果左手模型与零件发生接触，记a＝1，反之记a＝0；如果右手模型与零件发生接触，记b＝1，反之记b＝0，并转判定标准2；判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离，当距离小于3cm时，即认为手部已经进入抓取点，转判定标准3；计算过程以左手为例，假设零件存在2个抓取点，左手模型与零件模型发生碰撞，计算和当l_1,1和l_1,2任一数值小于3cm，即认为左手进入零件抓取点；判定标准3、根据a、b的数值，如果任意a或b为1，计算手骨骼的弯曲程度，当手部夹角小于12°时，认为完成抓取，零件跟随手部移动，以左手为例，当a＝1，此时左手至左拇指向量左手至左指尖向量向量与向量的夹角当θ₁小于12°即认为完成抓取，零件随手移动；所述的步骤三的具体方法如下：零件装配的配合需要先对零件和装配件进行向量和装配点预设，轴类装配零件将在两头设置向量坐标点C_j，1(X_j,1,Y_j,1,Z_j,1)和C_j,2(X_j,2,Y_j,2,Z_j,2)，同时在轴孔的装配中心点设置节点C_j，3(X_j,3,Y_j,3,Z_j,3)，作向量如果是齿轮或是轴承作为装配零件，就需要在圆孔中心两侧设置向量坐标点，而在零件体心设置装配节点；在配合零件中，如果为孔类配合件，在圆孔中心线的两侧设置向量坐标点D_k，1(X_k,1,Y_k,1,Z_k,1)和D_k,2(X_k,2,Y_k,2,Z_k,2)，同时在孔类配合件的配合中心点设置节点D_k，3(X_k,3,Y_k,3,Z_k,3)，作向量如果是轴类配合零件，设置方式如装配零件；其中，C_j，1(X_j,1,Y_j,1,Z_j,1)表示第j个装配零件的第1向量坐标点，C_j,2(X_j,2,Y_j,2,Z_j,2)表示第j个装配零件的第2向量坐标点，C_j，3(X_j,3,Y_j,3,Z_j,3)表示第j个装配零件的装配节点；D_k，1(X_k,1,Y_k,1,Z_k,1)表示第k个配合零件的第1向量坐标点，D_k,2(X_k,2,Y_k,2,Z_k,2)表示第k个配合零件的第2向量坐标点，D_k，3(X_k,3,Y_k,3,Z_k,3)表示第k个装配零件的配合节点；当手抓取零件时，系统会自动将抓取零件定义为装配零件，并自动搜索附近配合中心离装配中心最近的零件为配合零件，而装配结合需要满足两项要求：要求1：装配零件的向量与配合零件的向量夹角小于5°，即向量与向量的夹角而θ₂＜5°或|θ₂‑180°|＜5°，即认为装配零件与配合零件重合；要求2：装配节点与配合节点的距离小于3cm，即当l₂＜3cm，条件满足；所述的步骤四的具体方法如下：结合程度需要考虑两项因素，分别为装配路径和零件的配合程度；装配路径分为三级，一级为自上而下的装入、二级为水平装入、三级为自下而上的装入；具体为当装配零件和配合零件的向量夹角满足θ₂＜5°或|θ₂‑180°|＜5°，开始记录装配中心C_j，3(X_j,3,Y_j,3,Z_j,3)的坐标点为E₁(x_c,y_c,z_c)，当完成装配之后，记录装配中心C_j，3(X_j,3,Y_j,3,Z_j,3)的坐标点为E₂(x_d,y_d,z_d)，作向量设空间竖直向量计算当θ₃＜60°，认为是一级；当60°≤θ₃≤120°，认为是二级；当120°＜θ₃，认为是三级；配合程度又分为间隙配合、过渡配合和过盈配合；在装配之前将会对轴孔进行尺寸标定，装配零件孔轴标为配合零件孔轴标为当抓取的装配零件与配合零件的向量夹角满足θ₂＜5°或|θ₂‑180°|＜5°时，需要计算装配零件和配合零件的尺寸是否对应，即l₃＝ΦF‑Φf，当l₃>0，即装配零件和配合零件不匹配，将会阻止零件继续装配；当l₃＝0，计算装配零件的上下公差差值l₄＝D_max‑d_min，其中D_max表示的是孔的最大尺寸，d_min表示的是轴的最小尺寸，配合零件的上下公差差值l₅＝D_min‑d_max，其中D_min表示的是孔的最小尺寸，d_max表示的是轴的最大尺寸；当装配件是孔，配合件是轴时，间隙配合要求为l₄>0且l₅>0，过盈配合要求为l₄＜0且l₅＜0，过渡配合要求为l₄≥0且l₅＜0；反之当装配件是轴，配合件是孔时，间隙配合要求为l₄＜0且l₅＜0，过盈配合要求为l₄>0且l₅>0，过渡配合要求为l₄≥0且l₅＜0；结合程度分为程度1：松弛；程度2：稍微精密；程度3：非常紧密；根据装配路径和零件的配合程度，根据结合程度分类表对结合程度进行定义；所述的步骤五的具体方法如下：对称性主要分为对称、半对称和非对称，装配或是配合零件在操作之前将会被赋予形状定义，分别为圆形物体、正方形物体、长方形物体、圆锥形物体和梯形物体；当完成装配时，将会对装配零件和配合零件进行形体对应，具体参照对称性分类表；所述的步骤六的具体方法如下：对准动作复杂度分为操作容易和操作困难，首先需要根据步骤四和步骤五中结合程度和对称性的水平，根据对准动作预定时间表提供的操作容易和操作困难标准时间，通过10次测试操作动作，记录对准时间T，通过计算实际操作对准时间与标准时间的二阶矩判定动作复杂度并给出对准动作的标准时间；具体参照对准时间数据表；根据步骤四中结合程度和步骤五中的对称性可以得到两项时间数据，分别为操作容易时间t1和操作困难时间t2；接下来测试十次装配操作时间，即当装配零件的向量与配合零件的向量夹角小于5°(θ2＜5°或|θ2‑180°|＜5°)，记录时间TA，当装配节点与配合节点的距离小于3cm时即l2＜3cm，记录时间TB，计算时间T＝TB‑TA，十项数据记为T1、T2、T3…T10；接下来计算二阶矩，γ1＝(T1‑t1)2+(T2‑t1)2+(T3‑t1)2…(T10‑t1)2，γ2＝(T1‑t2)2+(T2‑t2)2+(T3‑t2)2…(T10‑t2)2，当γ1>γ2，认为操作复杂情况为操作困难，最终标准时间定为t2；当γ1＜γ2，认为操作复杂情况为操作容易，最终标准时间定为t1。