[发明专利]一种基于双深度相机的腧穴定位方法

说明书

本发明提供了一种基于双深度相机的腧穴定位方法，借助机器视觉及图像处理技术对腧穴进行准确三维定位。该方法包括：利用标定后的全局相机对人体进行分割，确定目标腧穴所在肢体区域；在对应区域上方利用手眼相机获取肢体图像，对不同肢体部位采用不同腧穴定位方法；手部等特征复杂部位，基于openpose深度学习网络进行关键点检测，得到关键点后结合指寸法确定腧穴位置；手臂等较规则部位，对图像进行肤色检测、边缘检测、拐点检测等获取关键点，并结合骨度分寸法进行腧穴定位；然后利用深度相机结构光对目标腧穴进行深度估计，并输出腧穴三维坐标。本发明实施例提供的技术方案，可以实现人体腧穴的自动定位，为针灸机器人提供精确的目标腧穴位置。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于双深度相机的腧穴定位方法。

背景技术

无论国内国外，自动取穴的相关技术还不成熟，多数在研究阶段，而临床应用的实例几乎没有。腧穴识别还存在只是对局部腧穴的识别、腧穴识别不够准确、只能够对静止的人体进行腧穴识别等不足。

另外在针灸治疗过程中一般需要沿一条经脉依次将其上的腧穴进行刺激治疗，而经脉分布很广大部分都是从手部到头部或者从头部到脚部，因此很难用一种方法智能识别一条经络上的全部腧穴。

发明内容

有鉴于此，本发明实施例提供了一种基于双深度相机的腧穴定位方法，能够实现人体腧穴的自动定位，并且达到定位精确的效果。

本发明实施例提供了一种基于双深度相机的腧穴定位方法，包括如下步骤：

使用全局相机获取人体图像并进行骨架提取、姿态匹配，确定目标腧穴所在肢体区域；

使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别；

对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置；

对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位；

利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标。

上述方法中，所述依据所述全局相机获取人体图像并进行骨架提取、姿态匹配确定目标腧穴所在肢体区域，具体为：

全局相机获取到的人体全身图像，根据深度数据将人体与环境分割，并通过Kinect骨骼追踪技术获取20个人体关节节点，完成骨架提取；

获取骨架后对骨骼数据进行特征提取，并根据骨架序列的角度特征进行标准姿态匹配，辅助肢体位置的确定；

根据腧穴所在的肢体位置，结合骨骼点坐标信息计算出手眼相机需要到达的位置。

上述方法中，所述依据所述使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别，具体为：

根据上述全局深度相机确定出手眼相机需要到达的位置坐标后，由机械臂带动手眼相机运动到指定位置，并根据模板判断肢体类别。

上述方法中，所述依据所述对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置，具体为：

输入为手部图像，输出结果是22个矩阵，每个矩阵代表某个特定关键点的位置；

本发明采用中指指寸法，即以被取穴者的中指中节桡侧两端纹头之间的距离作为1寸。

上述方法中，所述依据所述对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位，具体为：

图像预处理包含，对所述图像肤色检测、二值化处理、滤波、开运算；