[发明专利]一种特殊人群手势交互信息咨询识别系统

权利要求书

1.一种特殊人群手势交互信息咨询识别系统，其特征在于：该信息咨询识别系统包括输入系统、识别系统及咨询系统，所述输入系统对用户身份进行识别，输入系统包括资料库，所述资料库中含有手势数据，输入系统采集用户在交互过程中的图像数据和视频数据，所述识别系统根据用户信息调取资料库中的数据，识别系统将输入系统采集的图像数据和视频数据与资料库中的数据进行匹配，并将匹配到的数据传输到咨询系统中，所述咨询系统根据识别系统传输的数据提取出关键词，咨询系统根据关键词进行信息查询；

所述输入系统包括身份识别子系统、图像采集子系统、视频录入子系统，所述身份识别子系统对用户信息进行识别，所述资料库包含云端数据中的所有手势数据以及用户个人创建的手势数据，所述图像采集子系统对用户手势交互时的第一帧图像和最后一帧图像进行采集，所述视频录入子系统对用户交互时的视频进行采集；

所述识别系统包括个人手势库调取子系统、图像识别子系统、视频匹配子系统，所述个人手势库调取子系统根据用户信息调取用户个人创建的手势数据，所述图像识别子系统根据第一帧图像及最后一帧图像中的数据与资料库中的数据进行对比、匹配，并得出用户交互时的手势或者拥有第一帧图像及最后一帧图像中数据的其他手势，所述视频匹配子系统根据采集的交互视频中的交互手势数据辅助图像识别子系统与其他手势进行匹配，并得出用户交互时的手势；

所述咨询系统包括语义采集子系统、关键词子系统和查询子系统，所述语义采集子系统根据识别系统识别出的手势从资料库中获取该手势所表达的语义并形成文本，所述关键词子系统从文本中提取关键词，所述查询子系统根据关键词进行信息查询；

所述资料库包括手语库、个人手势库，所述手语库为云端数据中各种手语数据组成的数据库，所述个人手势库为用户个人创建的手势数据库，个人手势库的数据内容包括用户个人创建的手势视频以及该手势视频所代表的语义；

所述图像采集子系统对用户交互时的手势以及做该手势时的面部表情进行图像采集，图像采集子系统将用户开始交互时的起始画面标记为第一帧图像，将用户结束交互时的末尾画面标记为最后一帧图像，第一帧图像中的手势为起始手势，最后一帧图像中的手势为结束手势，所述视频录入子系统对用户交互时的手势运动轨迹进行采集；

所述个人手势库调取子系统根据用户信息调取个人手势库；

所述识别系统还包括分类子系统，所述分类子系统对手语库和个人手势库中每一个第一帧图像中起始手势及最后一帧图像中结束手势的大拇指所在位置进行坐标建立，分类子系统以第一帧图像和最后一帧图像中手腕所在位置为空间坐标系原点，并分别建立第一帧图像和最后一帧图像中大拇指所在位置的坐标集合A、B，第一帧图像的坐标集合A={A₁，A₂，A₃，…，A_n}，其中A_n=（X_An，Y_An，Z_An），最后一帧图像的坐标集合B={B₁，B₂，B₃，…，B_n}，其中B_n=（X_Bn，Y_Bn，Z_Bn）；

所述分类子系统将手语库和个人手势库中第一帧图像中大拇指坐标相同的所有手势归类为一组并形成集合C，集合C={C₁，C₂，C₃，…，C_n}，所述分类子系统将手语库和个人手势库中剩余的第一帧图像中大拇指坐标不相同的所有手势形成集合D，集合D={D₁，D₂，D₃，…，D_n}，其中，集合C、D中每个手势的坐标均包括第一帧图像中的坐标和最后一帧图像中的坐标。