[发明专利]一种脓毒症治疗策略的学习方法及装置在审
申请号: | 202111657725.4 | 申请日: | 2021-12-30 |
公开(公告)号: | CN114330566A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 余超;黄荣恒 | 申请(专利权)人: | 中山大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G16H50/20 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 陈旭红;钟文瀚 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 脓毒症 治疗 策略 学习方法 装置 | ||
本发明公开了一种脓毒症治疗策略的学习方法及装置,该方法包括:基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型;样本数据为脓毒症患者在预设时间内的病理数据;根据马尔科夫决策模型,建立脓毒症的死亡率预测模型,并获取脓毒症患者各个特征的死亡率权重;利用死亡率权重对样本数据进行标记,生成目标样本;预测脓毒症治疗策略,利用深度强化学习方法来学习治疗策略。本发明通过患者样本优先级权重进行标记,使得深度强度学习的样本质量更高,提高了模型的训练效果,避免在大量次优样本中快速陷入局部最优的问题;通过采用改进的深度强度学习算法学习治疗策略,并为AI治疗策略的动作选择增加现实限制,使得推荐的治疗策略更优。
技术领域
本发明涉及人工智能与医疗技术领域,尤其涉及一种脓毒症治疗策略的学习方法及装置。
背景技术
近年来,将人工智能算法用于探索对脓毒症患者使用静脉输液(IV)和血管升压药(VP)的最佳治疗策略已愈发广泛。在利用人工智能算法对脓毒症治疗策略进行评估时,主要是利用离线评估器,例如采用重要性采样估计器(IS)和双鲁棒估计器(DR)并结合SARSA算法来评估医生治疗策略的预期回报。而对AI治疗策略进行探索时,往往包含几种方法,包括离散状态空间模型与策略迭代的方法、使用深度神经网络与值迭代的方法、混合模型方法以及建立连续状态空间模型等。
然而,上述方法利用深度强化学习模型,在离散数据的基础上学习治疗策略时,并没有考虑患者样本质量实际存在的分布不均的情况。由于样本质量与分布不均衡,模型可能通过学习大量次优的样本而快速陷入局部最优,而没有对占比较少的高质量样本进行充分的学习。因此,模型通过学习后提供治疗建议与现实往往存在较大的偏差。
发明内容
本发明的目的在于提供一种脓毒症治疗策略的学习方法及装置,以解决现有的深度强化学习模型在对脓毒症数据学习时,由于样本质量与分布不均衡进而影响学习效果,导致学习结果与实际偏差较大的问题。
为实现上述目的,本发明提供一种脓毒症治疗策略的学习方法,包括:
基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型;所述样本数据为脓毒症患者在预设时间内的病理数据;
根据所述马尔科夫决策模型,建立脓毒症的死亡率预测模型,并获取脓毒症患者各个特征的死亡率权重;
利用所述死亡率权重对样本数据进行标记,生成目标样本;
预测脓毒症治疗策略,利用深度强化学习方法来学习治疗策略。
进一步地,在所述基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型之后,还包括:
对马尔科夫决策模型中的数据进行数据清洗,包括将数据损失超过预设值的治疗轨迹进行剔除,利用KNN算法进行数据填充。
进一步地,所述根据所述马尔科夫决策模型,建立脓毒症的死亡率预测模型,并获取脓毒症患者各个特征的死亡率权重,包括:
基于所述马尔科夫决策模型,利用极限梯度提升算法进行二分类训练,将患者在每个时间序列的状态作为特征值,以最终存活情况作为标签,训练生成死亡率预测模型;
基于死亡率预测模型,将患者按最终存活或死亡的情况划分,利用KNN算法,基于闵可夫斯基距离公式计算患者各个特征的死亡率权重。
进一步地,所述深度强化学习方法为Double Dueling DQN深度强化学习方法。
进一步地,所述利用深度强化学习方法来学习治疗策略,包括修改损失函数以及对AI治疗策略的动作选择增加现实限制。
本发明还提供一种脓毒症治疗策略的学习方法,包括:
基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型;所述样本数据为脓毒症患者在预设时间内的病理数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111657725.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种射出成型机的冷却系统及其控制方法
- 下一篇:个性化内容推荐方法及系统