[发明专利]基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法有效
申请号: | 202110539397.1 | 申请日: | 2021-05-17 |
公开(公告)号: | CN113222117B | 公开(公告)日: | 2022-06-21 |
发明(设计)人: | 刘华锋;李玥 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06T5/00 |
代理公司: | 杭州天勤知识产权代理有限公司 33224 | 代理人: | 王琛 |
地址: | 310013 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 理查德 算法 显微镜 卷积 神经网络 模型 构建 方法 | ||
1.一种基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法,包括如下步骤:
(1)对生物样本进行荧光蛋白标记染色,通过荧光显微镜采集生物样本荧光图像,得到由二维切片堆叠形成的三维荧光显微镜图像主视角数据I,换另一视角对同一生物样本进行图像采集得到辅助视角数据I';
(2)对主视角数据I进行轴向插值处理,使轴向和横向每个像素代表的步长相同;对辅助视角数据I'进行旋转和插值,使其与主视角数据I具有相同的坐标系,并通过基于强度的配准方式进行配准;
(3)通过测量或者模拟得到荧光显微镜的主视角点扩展函数h和辅助视角点扩展函数hB,进而根据点扩展函数h和hB采用理查德森-露西算法对插值后的主视角数据I和辅助视角数据I'进行联合去卷积操作,得到分辨率改善后的生物样本估计结果GT;
(4)根据步骤(1)~(3)重复执行多次,得到大量主视角数据I及其对应的生物样本估计结果GT,每一对I和GT即组合作为一组样本,并将所有样本划分为训练集和测试集;
(5)构建基于理查德森-露西去卷积结构的神经网络,利用训练集样本中的I作为输入,GT作为真值对该神经网络进行训练,得到显微镜去卷积神经网络模型;
所述基于理查德森-露西去卷积结构的神经网络由下采样估计部分H1、原始尺寸估计部分H2和结果微调部分H3依次连接组成,输入的主视角数据I经过最大值池化后得到下采样输入数据Iap并进入H1,H1内部的操作流程为:首先将Iap依次经过两个卷积层C1和C2后得到前向投影特征图FP1,FP1经过通道维度的求和平均后作为分母,Iap作为分子,相除后得到结果D1;接着D1依次经过三个卷积层C3~C5后得到反向投影特征图BP1,卷积层C3与C5之间有残差连接,BP1再依次经过转置卷积层和卷积层C6后实现上采样,得到结果BP1u,BP1u经过通道维度的求和平均后得到更新因子,将该更新因子与I相乘后得到样本的粗略估计结果Ef;
H2内部的操作流程为:首先将Ef依次经过两个卷积层C7和C8后得到前向投影特征图FP2,FP2经过通道维度的求和平均后作为分母,I作为分子,相除后得到结果D2;接着D2依次经过两个卷积层C9和C10后得到反向投影特征图BP2,BP2经过通道维度的求和平均后得到更新因子,将该更新因子与Ef相乘后得到样本估计结果Ef2;
H3内部的操作流程为:首先将Ef2依次经过四个卷积层C11~C14后得到Ef的补充信息Ef2',将Ef2与Ef2'并联后通过两个卷积层C15和C16进行微调,再经过一次通道维度的求和平均后便得到整个神经网络的输出结果;
(6)将测试集样本中的I输入至模型,输出得到对应的估计结果,根据模型输出结果与真值之间的差异以评估模型性能,从而对模型内部参数进行调节直至模型性能满足相应要求。
2.根据权利要求1所述的显微镜去卷积神经网络模型构建方法,其特征在于:所述主视角数据I、辅助视角数据I'以及生物样本估计结果GT均为三维体积图像,由二维切片堆叠而成。
3.根据权利要求1所述的显微镜去卷积神经网络模型构建方法,其特征在于:所述步骤(3)中联合去卷积操作的算法表达式如下:
e0=(I+I')/2
其中:e0为生物样本的初始迭代估计结果,ek和ek+1分别为从辅助视角得到生物样本的第k次迭代估计结果和第k+1次迭代估计结果,emk+1分别为从主视角得到生物样本的第k+1次迭代估计结果,T表示转置,k为自然数且0≤k≤N,N为预设的最大迭代次数且GT即等于eN。
4.根据权利要求1所述的显微镜去卷积神经网络模型构建方法,其特征在于:所述步骤(5)在对神经网络进行训练之前,需对样本进行归一化处理,具体归一化公式如下:
其中:u为I或GT中的任一像素值,u'对应为u归一化后的像素值,通过对I或GT中所有像素值从小到大排列,plow为序列中第1%~3%位的像素值,phigh为序列中第99.5%~100%位的像素值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110539397.1/1.html,转载请声明来源钻瓜专利网。