[发明专利]一种基于深度学习的婴幼儿监护系统及搭建方法

说明书

本发明公开了一种基于深度学习的婴幼儿监护系统及搭建方法，本发明采集多个场景环境下的婴儿图像数据，在“边验证，边训练”的模式下训练出高鲁棒性的YOLOV3模型，能在较复杂的环境准确定位婴儿头部与主体的位置，能与小程序通信传输视频数据与电子围栏数据以及报警提示。用户可以自定义虚拟的围栏边界，通过检测主体是否逾越虚拟边界来进行提示报警，降低事故的可能性，同时报警具有高可靠性，可有效缓解家长们的频繁收到提示的焦虑。本发明所述监护系统能准确、针对性的对婴幼儿活动进行监护，且不受夜晚环境、成人陪护场景干扰。本发明所述监护系统是用较为轻量的网络检测婴儿坐标，直接进行是否越界的判断，更符合嵌入式的算力以及更好的泛用性。

技术领域

本发明涉及婴幼儿监护技术领域，具体为一种基于深度学习的婴幼儿监护系统及搭建方法。

背景技术

现有监护摄像头不能良好区分成人与婴儿，导致误报警、误提示，由于报警提示需要具有准确性、有效性，因此，监护系统需要针对性的识别出婴幼儿，不识别成人，在家长出入电子围栏时不提出报警，因此，需要一种针对性的智能监护系统帮助家长辅助监护婴儿。

房凯.基于深度学习的围栏跨越行为检测方法[J].计算机系统应用，2021,30(2)：147-153提出了一种围栏跨越行为检测方法，该方法主要通过深度学习对行为进行分类，判断出一个行为是否是跨越行为，该深度学习模型需要图像的信息以及时序的信息，对行为进行分类判断，因此模型是十分庞大的，目前仅适用于计算机上运行，不适用于嵌入式系统，且算法本身适用于较有明显区分的动作，如成人的跨越，不适用于动作类型少的婴幼儿，例如婴幼儿爬行到危险区，是难以用行为进行报警判断的。

发明内容

为解决现有技术不适用于嵌入式系统、因算法局限性难以用行为进行报警判断的问题，本发明提出一种基于深度学习的婴幼儿监护系统，硬件部分由Hi3516DV300和sony摄像头以及Hi3861组成。本发明采集多个场景环境下的婴儿图像数据，在“边验证，边训练”的模式下训练出高鲁棒性的YOLOV3模型，能在较复杂的环境准确定位婴儿头部与主体的位置，能与小程序通信传输视频数据与电子围栏数据以及报警提示。用户可以自定义虚拟的围栏边界，通过检测主体是否逾越虚拟边界来进行提示报警，降低事故的可能性，同时报警具有高可靠性，可有效缓解家长们的频繁收到提示的焦虑。

本发明具体采用如下的技术方案：

一种基于深度学习的婴幼儿监护系统，包括用户端、家庭监控摄像头和服务器，用户端安装小程序，用户能在小程序中实时查看摄像头传输的视频并设置电子围栏的区域，家庭监控摄像头有多个，分别设置在婴幼儿活动区域，服务器中安装有Hi3516DV300开发板，开发板中存储YOLOV3模型和相应代码；家庭监控摄像头实时将监控视频传输至服务器中，服务器根据用户设置的电子围栏的区域，判断婴幼儿是否超出电子围栏的区域，如果超出，会向用户端发送短信消息提醒。

一种基于深度学习的婴幼儿监护系统的搭建方法，包括如下步骤：

步骤1：选取多个场景，使用悬挂式摄像头或手机录像装置进行婴儿视频数据采集；

步骤2：对步骤1采集到视频数据进行帧截取和筛选，人为对数据集中的每个图像的婴儿的头部和身体部位进行框选标注，并对标注后的数据集进行划分，划分为训练集与验证集；

步骤3：将步骤2中的训练集与验证集放入Pytorch平台搭建的YOLOV3网络分别进行训练与验证；

步骤4：将训练后得到的模型进行测试，观察模型表现，分析缺陷原因，有针对性的增添数据集；

步骤5：将步骤4得到的具有较高鲁棒性的Pytorch模型进行模型转换，转换为caffe模型；

步骤6：将步骤5得到的浮点数的yolov3.caffemodel进行INT8量化，生成硬件可使用的wk文件，并验证模型精度，将模型和相应代码导入Hi3516DV300开发板中；