[发明专利]一种基于Q学习的三重四极质谱仪参数优化策略计算方法

说明书

本发明提供了一种基于Q学习的三重四极质谱仪参数优化策略计算方法，质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关。本发明有益效果：应用Q学习算法计算三重四极质谱仪参数调节的最佳策略，这是一种基于强化学习的参数优化方法，在三重四极质谱仪调谐的过程中，需要优化的参数较多，可能的组合多达上千万，如果每一个参数都优化，则将陷入难以接受的等待中，应用Q学习算法则可以使用较短的时间达到全局最优组合的附近，以使得三重四极质谱仪工作在较好的状态。

技术领域

本发明属于质谱仪技术领域，尤其是涉及一种基于Q学习的三重四极质谱仪参数优化策略计算方法。

背景技术

三重四极杆质谱仪是当下药物公司研发部门、大学实验室、研究所和医院对物质定性分析的重要工具。顾名思义，四极杆即为四根平行或呈一定角度排列的金属棒构成的模块，三重四极杆质谱仪由若干这样的模块串联而成。根据马修方程，在四极杆上加相应直流电压和射频电压，可以筛选出特定的质荷比的离子，而其他质荷比的离子将偏离轨道，撞在四极杆上。被选中的特定质荷比的离子在四极杆中做螺旋前进运动，直到通过四个串联的四极杆，打在后端的检测器上，形成信号，常用的检测器有电子倍增器等。

化合物被离子化后，进入腔体后，首先进入Q0，Q0的主要作用在于引导离子进入Q1，Q1则可以筛选特定质荷比的离子，被筛选的离子进入Q2中，在Q2中，这些离子会被打碎成若干子离子，再进入Q3，Q3和Q1的作用相同，用于筛选特定质荷比的离子通过，而通过Q3的离子进入电子倍增器，得到信号，如此就可以对化合物进行定性分析。

为了使离子能够最大数量的通过三重四极杆，操作人员需要优化多个参数，才能保证离子最大化的飞过四极杆，进入检测器。而各类参数的组合数目庞大，找到最优的参数组合往往取决于操作人员的经验和对仪器的理解，而且找到相对最优的参数组合耗时也比较长。寻找质谱仪最优参数组合的过程是质谱仪调谐的一部分。在实际应用中，应用人员或调试人员需要花费大量的时间和精力确定参数的最佳组合。一些仪器生产商也提出了一些自动调谐的方法，大多采用固定其余参数，遍历单一参数的方法，这样的好处是能够缩短调谐时间，然而显著的缺点是：难以收敛到质谱仪的全局最优参数组合，质谱仪可能无法在相对较好的状态工作。

发明内容

有鉴于此，本发明旨在提出一种基于Q学习的三重四极质谱仪参数优化策略计算方法，该方法使用了Q学习的基本思想，这是一种基本强化学习方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于Q学习的三重四极质谱仪参数优化策略计算方法，包括：

质谱仪的参数优化方法，即为参数不断调整的过程，将质谱仪的参数优化过程抽象成马尔可夫决策过程，从当前参数组合经过操作后，转移到下一个参数组合；参数组合仅仅取决于上一参数组合，同更早之前的参数组合无关；

基于Q学习算法计算得到的质谱仪参数优化方法，所述Q学习即为Q-learning，在一段时间内均可适用于质谱仪参数的优化，而无需重新计算，直接使用策略即可进行参数优化，用于提升了仪器的调谐效率，节省了实验人员的精力和时间。

进一步的，定义(p₁,…,p_M)^T为质谱仪待优化的M个参数组合，(p_1n,…,p_Mn)^T为在时刻n时的参数组合，定义g(i,a,j)为从状态i经过操作a后转移到状态j的单次代价函数，其中i为一种参数组合，j为另一种参数组合；

定义Q^*(i,a)为状态-操作对(i,a)的Q因子，其中b∈A，根据Bellman方程可以得到下式：