[发明专利]一种足部按摩机器人快速自动定位方法

权利要求书

1.一种足部按摩机器人的穴位定位方法，其特征在于包括以下步骤：A、根据足底部轮廓特征点，离线建立足底穴位经验模型，B、在线强化学习优化足底穴位定位；

所述的步骤A根据足底部轮廓特征点，离线建立足底穴位经验模型是由以下步骤实现的：

（1）、采集大量的人足底部外轮廓三维曲面的离散点数据；（2）、记录足部长度、宽度的最大最小、深度尺寸等特征点；

（3）、运用多项式、指数、最小二乘法等方法进行离散数据点的曲线拟合，按照特征点进行足部轮廓的粗分段，分段拟合数据的曲线，局部断点位置用插值方法使外轮廓曲线平滑、连续，得到人足底部外轮廓线的三维虚拟数字模型；

（4）、重复上述（2）、（3）步骤，通过数据分析计算所有采集的足底部轮廓数据，即可得到足底部轮廓曲面的经验模型；

（5）、依据足底部外轮廓模型可判断人足部骨骼尺寸，结合传统中医同身寸的理论，判断其关键穴位的位置，进而确定其他部位的穴位位置；

所述的步骤B在线强化学习优化足底穴位定位，包括以下过程：

设计了基于CMAC 神经网络的强化学习算法，对穴位定位进行优化，使用CMAC神经网络函数估计模块逼近强化学习的值函数，通过Q学习算法来优化值函数，从而获得优化的穴位定位策略。

2.  根据权利要求1所述的一种足部按摩机器人的穴位定位方法，其特征在于所述的在线强化学习优化足底穴位定位，是以阻抗测量值作为强化学习系统的回报函数的客观评价依据，根据经验数字模型计算的穴位位置，以其测试的发光强度为基准设定等级，建立强化学习系统即时回报函数：

。

3.根据权利要求1所述的一种足部按摩机器人的穴位定位方法，其特征在于所述的基于CMAC神经网络函数估计的强化学习方法，包括以下步骤：

1) 初始化所有CMAC网络权值W为零；

 2) 初始化t = 0时的环境状态S₀为一定范围内的随机数；

3) 对环境状态进行分割；

 4) 根据分割后的状态选中某个CMAC；

5) 根据Q_NN(s _t, a_t) 按照ε-greedy 策略选择动作a，观察下一状态s_t +1和即时回报r_t；

6) 根据式

调整所选中的某个CMAC网络权值，其中，w_kj(t+1)为t +1时刻所对应动作的物理地址权值；

7) 如果r_t为惩罚信号，返回步骤 2)重新学习，若r _t为奖励信号，返回步骤 3)继续学习，直到达到学习周期长度Maxstep时，转步骤 8)；

8) 结束。