[发明专利]用于手语交流的人工智能云平台系统及智能药盒

说明书

本发明公开了一种用于手语交流的人工智能云平台系统及智能药盒，涉及互联网医疗技术领域，系统包括患者终端用于获取包含预设人物关节的手语视频；卫生管理部门用终端用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并据此获得相应的处方信息；智能医盒用于根据处方信息在服药时间调取并播放预设手语视频。本发明可以根据患者手语视频出具处方，分配药品，并通过预设手语视频提醒患者服药。

技术领域

本发明涉及互联网医疗技术领域，具体涉及一种用于手语交流的人工智能云平台系统及智能药盒。

背景技术

慢病患者，例如哮喘病患者，能否全程、规律地服药是治疗成功的关键，也是避免产生耐药的重要措施。现有技术中提供了一些设备，以试图帮助患者服药依从性，但是这些设备大多仅包括具有声音提示功能的模块，通过设置定时提醒控制发出提示音等以提醒患者服药，但对听力有缺陷的人却无能为力。

所以利用手势识别能够很好的解决上述问题，但是目前尚没有一种能够通过手语实现对患者自动服药提醒的系统。手势识别一般是通过图像的方式识别出手部、上躯部等姿势，从而对手势进行分类，但是由于手指之间相似性较高，且比较灵活容易相互遮挡；而且在手势追踪过程中噪声较大，所以导致识别精度较低。

发明内容

因此，为了克服上述缺陷，本发明实施例提供一种用于手语交流的人工智能云平台系统及智能药盒，可以根据患者手语出具处方，分配药品，并通过手语视频提醒患者服药。

为此，本发明实施例的一种用于手语交流的人工智能云平台系统，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；

所述患者终端包括视频获取模块和视频发送模块；

视频获取模块用于获取包含预设人物关节的手语视频并输出；

视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；所述卫生管理部门用终端包括图像识别模块和控制模块；

图像识别模块包括：

视频接收单元，用于获取所述手语视频；

关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；

语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；

语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；

文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；

控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；

所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。

优选地，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；

计算第一图像中每个像素点(x，y)的梯度特征Q(x，y)，计算公式为：

其中，为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)为像素点(x，y)的像素值；为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；