[发明专利]脓毒症治疗策略优化方法、系统、计算机设备和存储介质

说明书

本发明提供了脓毒症治疗策略优化方法、系统、计算机设备和存储介质，通过根据获取的脓毒症患者病历数据构建对应的健康状态标注病历数据后，根据健康状态信息和用药动作信息构建脓毒症患者的健康状态转移模型，并通过健康状态转移模型得到脓毒症患者的第一治疗策略，同时，根据健康状态标注病历数据，通过无模型的深度强化学习方法，得到脓毒症患者的第二治疗策略，再将第一治疗策略和第二治疗策略进行策略融合得到融合治疗策略，以及通过离策略评估方法对融合治疗策略进行期望收益评估，调整融合治疗策略得到最优治疗策略的方法，能够针对脓毒症患者的不同健康状态给出合理用药治疗策略，为脓毒症治疗提供可靠的参考依据。

技术领域

本发明涉及医疗强化学习技术领域，特别是涉及一种基于策略融合的脓毒症治疗策略优化方法、系统、计算机设备和存储介质。

背景技术

脓毒症是一种因感染导致的全身炎症反应综合症，对生命安全有着严重威胁，是ICU患者常见高危并发症和致死的主要原因之一。因此，脓毒症患者的每一阶段的用药动作都非常关键，若能针对脓毒症患者不同阶段的不同健康状态给出合理用药治疗策略，将会有效减少脓毒症患者的死亡率。

现有针对脓毒症的机器学习仅限于对患者病情的早期预测，并未涉及针对脓毒症患者治疗策略的机器学习研究，临床治疗仍主要依赖于经验积累和医生人为决策，然而，脓毒症患者的临床数据并不能达到很好共享，且每个医生的临床经验有限，并不一定能保证在患者的每个健康状态阶段都能给出合理有效的用药策略。

发明内容

本发明的目的是提供一种脓毒症治疗策略优化方法，通过聚类分析对脓毒症患者的病历数据进行健康状态标注处理后，分别利用有模型和无模型的强化学习方法对脓毒症治疗策略进行学习优化，再对二者优化学习得到治疗策略进行融合，并采用离策略评估对融合策略进行评估和调整，得到最终的最优治疗策略的方法，将有模型强化学习和无模型强化学习的优势进行迭加，能够针对脓毒症患者的不同健康状态给出合理用药治疗策略，为脓毒症治疗提供可靠的参考依据，进而有效降低脓毒症患者的死亡率。

为了实现上述目的，有必要针对上述技术问题，提供了一种脓毒症治疗策略优化方法、系统、计算机设备和存储介质。

第一方面，本发明实施例提供了一种脓毒症治疗策略优化方法，所述方法包括以下步骤：

获取脓毒症患者的病历数据，并根据所述病历数据，构建对应的健康状态标注病历数据；所述健康状态标注病历数据包括体征数据、检验数据、用药动作信息和健康状态信息；

根据所述健康状态标注病历数据的健康状态信息和用药动作信息，构建脓毒症患者的健康状态转移模型，并通过所述健康状态转移模型，得到脓毒症患者的第一治疗策略；

根据所述健康状态标注病历数据，通过无模型的深度强化学习方法，得到脓毒症患者的第二治疗策略；

将所述第一治疗策略和所述第二治疗策略进行策略融合，得到融合治疗策略。

进一步地，所述方法还包括：

通过离策略评估方法，对所述融合治疗策略进行调整，得到最优治疗策略。

进一步地，所述根据所述病历数据，构建对应的健康状态标注病历数据的步骤包括：

根据所述病历数据，获取脓毒症致死核心指标；所述病历数据包括体征数据、检验数据和用药动作信息；

将所述脓毒症致死核心指标与预设脓毒症诊断标准指标合并，得到脓毒症分析关键指标；

对所述脓毒症分析关键指标进行聚类分析，得到脓毒症患者的健康状态分类；

根据所述健康状态分类对所述病历数据进行健康状态信息标注，得到所述健康状态标注病历数据。

进一步地，所述通过所述健康状态转移模型，得到脓毒症患者的第一治疗策略的步骤包括：