[发明专利]一种嵌入式端的糖尿病性视网膜病变筛查解决方法

权利要求书

1.一种嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：

1)设计以异构微处理器为核心的嵌入式系统；

2)开发深度学习模型，利用眼底照片训练深度卷积神经网络；

3)将步骤(2)训练好的神经网络进行参数量化，将深度学习模型的原始32浮点型参数量化为8位整型参数，在确认量化操作对模型精度造成的损失可接受后，将深度学习模型固化为AI芯片内NPU驱动可识别模型，并进行部署；

4)利用图像采集软件、图像处理算法、深度学习模型推理三者在嵌入式平台的联动。

2.如权利要求1所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：1)中，嵌入式系统的开发包含硬件开发和软件开发两大块；

硬件方面，主控芯片选择搭载NPU的异构微处理器，围绕该处理器的硬件模块利用RAM芯片作为内存和ROM芯片作为硬盘的存储结构，硬件上同时包含相机接口和以太网接口，分别用作眼底照片数据采集和通信；

软件的层次化设计，步骤为最底层的驱动→定制化linux内核→嵌入式端的交互框架，其中，最底层的驱动包括NPU driver、USB driver；

基于上述软、硬件环境，开发图像采集、报告生成功能。

3.如权利要求2所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：2)中，利用大量标注好的眼底照片训练深度学习模型，采用深度卷积神经网络作为糖尿病性视网膜病变分类的主干网络；首先，对原始眼底照片做图像预处理，得到特征经过强化的眼底照片，该步骤的目的是凸显数据特征，提高卷积神经网络的训练效率和训练效果，将特征强化的眼底照片输入卷积神经网络网络，同时输入的还有眼底照片对应的标签，该标签是卷积神经网络需要逼近的目标；卷积神经网络的训练是一个反复迭代前向计算和反向计算的过程，前向计算算出卷积神经网络的输出与target的差异,依据该差异，反向计算将逐层更新卷积神经网络的权重，直到卷积神经网络的输出与target的差异足够小，训练过程结束。

4.如权利要求3所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：3)中，在将深度学习模型部署到嵌入式平台之前将深度学习模型的权重进行量化，达到减少运算量和访存的目的；权重在两个值域的映射，保留权重分布信息的前提下，将权重从一个值域映射到另一个值域。

5.如权利要求4所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：4)中，采用嵌入式多媒体框架gstreamer做自定义相机，完成眼底图像的采集，眼底照片采集摄像头需要有光学设备辅助；数据采集完完成后，针对眼底照片的图像处理算法对照片进行处理，强化其特征，接下来将处理后的图像输入深度学习模型进行推理，最后将推理结果和原始照片以数据流的形式往外推送，采用UDP协议推流。

6.如权利要求5所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：2)中，输入的原始眼底照片图片的预处理流程如下：

a对原始眼底照片进行阈值分割；

b步骤a中阈值分割后，得到眼底照片的ROI(region of interest)区域,根据ROI进行crop操作；

c对步骤b的结果进行resize操作，这是由于深度学习模型要求输入图片尺寸是固定的；

d对步骤c的结果进行图像对比度增强操作。

7.如权利要求6所述的嵌入式端的糖尿病性视网膜病变筛查解决方法，其特征在于：3)中，将训练好的深度学习模型进行权重量化，其原理如下：

在原始的权重分布上，截取合适边界±T，合适的边界使边界内的权重分布更均衡，做完值域映射后，量化误差更小，采用工具tensorRT做权重量化，该工具在选取边界用的是KL-divergence(散度)进行优化，KL-divergence的公式如公式(1)所示：