[发明专利]面向高原场景智能供氧的轻量化强化学习模型构建方法

说明书

本发明专利公开了一种面向高原场景智能供氧的轻量化强化学习模型构建方法，该模型包含：环境状态输入，数据预处理，使用神经网络决策输出动作，接收环境反馈奖励，更新神经网络参数几个步骤。可以综合考虑高原等极端环境下的各种因素，提高模型的准确度，同时保证做出正确的决策下尽量减小模型计算量，高效完成供氧任务，可以作为供氧系统智能控制供氧量的模型基础。

技术领域

本发明涉及机器学习技术领域，具体来说，是面向高原场景智能供氧的轻量化强化学习模型构建方法。

背景技术

高原反应，是人进入海拔3000米以上高原暴露于低压低氧环境后所产生的不适症状，是高原地区独有的常见病。高原反应对于人体的危害极大，降低高原反应对于心理和生理影响是具有重要意义，因此，迫切需要对高原作业人群提供便携以及智能化的供氧系统，智能化可以采用机器学习中的强化学习技术，让智能体可以逐渐在训练中适应环境，从而取得最好的整体收益。

发明专利201210307733.0涉及一种适用于高原地区的便携式制氧机，其在传统制氧机基础之上增加了一系列的智能判断装置，对输出氧气流量进行调节，形成脉冲式供氧，但该装置体积较大不适合单人携带，只能适用于非移动场景使用。

发明内容

本发明提出了一种面向高原场景智能供氧的轻量化强化学习模型构建方法。该模型使用人工智能领域的强化学习技术，可以综合考虑高原极端环境下的多种因素，提高模型的准确度，同时在做出正确决策下尽量减小模型计算量，高效完成供氧任务，可以作为供氧系统智能控制供氧量的模型。

本发明提供一种面向高原场景智能供氧的轻量化强化学习模型构建方法，所述面向高原场景智能供氧的轻量化强化学习模型构建方法包括：

S1：接收当前供氧的高原环境状态信息；

S2：对所述高原环境状态信息进行预处理，得到环境状态矩阵；

S3：根据所述环境状态矩阵，利用神经网络，得到各动作的收益估计值集合；

S4：获取各动作的收益估计值集合中的最优动作；

S5：判断所述最优动作是否为预设最优动作，若是，结束当前供氧并将所述最优动作发送至外部任务控制器；否则，返回步骤S1。

可选择地，所述步骤S1中，所述当前供氧的环境状态信息包括：环境数据和任务数据。

可选择地，所述环境数据包括：海拔高度和温湿度；和/或所述任务数据包括血氧饱和度、心率参数和呼吸参数。

可选择地，所述步骤S2包括：对所述环境状态信息进行采样操作；对所述采样后的环境状态信息进行降噪操作，得到所述环境状态矩阵。

可选择地，所述步骤S3中，所述神经网络包括输入层、全连接层和输出层，所述输入层用于输入所述环境状态矩阵，所述输出层输出所述各动作的收益估计值集合，所述全连接层同时连接所述输入层和所述输出层。

本发明具有以下有益效果：

人工智能领域中的强化学习模型可以较好地适应高原环境，从高原的海拔、温度、氧气含量等特殊环境状态学出较好的动作使得总收益最高，从而对决策结果的准确度有保障，并且采用轻量的神经网络，即较少的网络参数和层数从而减小计算量，可以更好地工作在嵌入式设备中。

模型核心采用Q学习算法，由于高原场景的状态较为复杂，Q学习算法需要一个Q值函数用来评价在环境的某状态下采取某种动作的价值，而原版Q学习算法的Q值函数是采用一个表格存储所有的状态。由于高原场景下的环境状态有非常多的可能性，采用表存储将会占用很大的存储空间，成本高昂且查询效率低下，为解决此问题本发明采用神经网络来近似传统Q值的分布。