[发明专利]一种基于深度学习的婴幼儿监护系统及搭建方法

权利要求书

1.一种基于深度学习的婴幼儿监护系统，其特征在于，包括用户端、家庭监控摄像头和服务器，用户端安装小程序，用户能在小程序中实时查看摄像头传输的视频并设置电子围栏的区域，家庭监控摄像头有多个，分别设置在婴幼儿活动区域，服务器中安装有Hi3516DV300开发板，开发板中存储YOLOV3模型和相应代码；家庭监控摄像头实时将监控视频传输至服务器中，服务器根据用户设置的电子围栏的区域，判断婴幼儿是否超出电子围栏的区域，如果超出，会向用户端发送短信消息提醒。

2.一种基于权利要求1所述基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，包括如下步骤：

步骤1：选取多个场景，使用悬挂式摄像头或手机录像装置进行婴儿视频数据采集；

步骤2：对步骤1采集到视频数据进行帧截取和筛选，人为对数据集中每个图像的婴儿头部和身体部位进行框选标注，并对标注后的数据集进行划分，划分为训练集与验证集；

步骤3：将步骤2中的训练集与验证集放入Pytorch平台搭建的YOLOV3网络分别进行训练与验证；

步骤4：将训练后得到的模型进行测试，观察模型表现，分析缺陷原因，有针对性的增添数据集；

步骤5：将步骤4得到的具有较高鲁棒性的Pytorch模型进行模型转换，转换为caffe模型；

步骤6：将步骤5得到的浮点数的yolov3.caffemodel进行INT8量化，生成硬件可使用的wk文件，并验证模型精度，将模型和相应代码导入Hi3516DV300开发板中；

步骤7：搭建服务器，在Hi3516DV300中编写短信发送程序；

步骤8：开发小程序与服务器连接，通过服务器与Hi3516DV300通信，传输实时视频数据，且客户能在小程序设置电子围栏的区域；

步骤9、模型预测的后处理以及判断越界，短信报警。

3.根据权利要求2所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，步骤1所述场景包括：白天婴儿床场景、白天客厅场景、白天户外场景、夜晚婴儿床场景和幼儿佩戴口罩场景。

4.根据权利要求3所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，所述步骤2具体包括：使用ffmpeg工具对视频数据进行帧截取，设置为1秒截取1帧，筛选截取得到的图片，若图片出现无婴儿目标、图片模糊、邻近图像变化不大或人为难以判定的情况，则删去，其他图片保留作为数据集；使用labelimg工具对图片进行框选标注，标注目标有两个，婴儿头部与婴儿全身；标注完毕后，将数据集按照9:1的比例划分训练集和验证集。

5.根据权利要求4所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，所述步骤3具体包括：设置图像传入的大小为416×416，指定冻结训练50轮次，解冻训练150轮次。

6.根据权利要求5所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，所述步骤4具体包括：将训练生成的模型运用在上述不同环境下进行检测，若在某一环境下表现不佳，则增大该环境的数据集，再次训练，重复多次。

7.根据权利要求6所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，所述步骤5具体包括：将步骤4训练好的pth文件和模型运用export方法生成onnx模型，再在Ubuntu配置好的环境下用onnx2caffe工具包将其转化生成YOLOV3.caffemodel与YOLOV3.prototxt。

8.根据权利要求7所述的一种基于深度学习的婴幼儿监护系统的搭建方法，其特征在于，所述步骤6具体包括：将步骤5转化出的caffemodel文件与cfg文件置入RuyiStudio中量化成uint模型，生成Hi3516DV300硬件所需的wk文件，测试模型精度,精度下降小于0.5％，即在容许范围内，将程序烧入开发板中。