[发明专利]手势控制与人物追踪自拍杆系统及控制方法

权利要求书

1.一种基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，包括：

自拍杆杆体；

设置在自拍杆杆体上端可跟随人体转动的用于夹持手机的可调倾角的手机固定架；

设置在自拍杆杆体上与手机固定架连接的旋转杆；

设置在自拍杆杆体上与旋转杆连接用于驱动所述旋转杆转动的驱动电机；

以及设置在所述自拍杆杆体上与所述驱动电机连接用于控制所述驱动电机转动的基于深度神经网络的神经网络芯片；

设置在所述自拍杆杆体上的用于采集获得待检测图像的摄像头，所述摄像头与所述神经网络芯片连接；

以及设置在自拍杆杆体下端的稳定三脚架；

所述摄像头采集、传入视频流，获得待检测图像，并输入至神经网络芯片；

神经网络芯片对获得的待检测图像进行编解码预处理，并将待检测图像传入至已经训练完备的嵌入式深度神经网络模型中，经推理计算后输出待检测图像中的目标类别与位置；

当检测到开机手势时，启动驱动电机，由神经网络芯片持续向驱动电机发送经嵌入式深度神经网络处理后检测到的人物位置，控制驱动电机带动自拍杆杆体随人物位置旋转，启动跟拍功能；当检测到电机关闭手势后，停止电机旋转，结束跟拍功能。

2.根据权利要求1所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，所述神经网络芯片包括：

处理器、存储器；以及通过总线分别与处理器、存储器连接的控制器；

所述处理器、存储器、控制器三者间通过总线完成相互间的进程通信，所述处理器用于对视频流进行编解码操作，对图像进行降噪预处理，获得待检测图像；并将待检测图像传入至已经训练完备的嵌入式深度神经网络模型中，经推理计算后输出待检测图像中的目标类别与位置至控制器接收，并由控制器控制驱动电机实现旋转追踪功能。

3.根据权利要求2所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，所述摄像头采集用于获得待检测的图像，所述神经网络芯片用于对视频流进行编解码操作，对图像进行降噪预处理，获得待检测图像；将待检测图像传入至已经训练完备的嵌入式深度神经网络模型中，经推理计算后输出待检测图像中的目标类别与位置至控制器接收；

所述控制器用于接收到启动手势后，启动电机旋转，不断根据接收到的人物位置信息控制电机旋转，电机旋转的同时带动自拍杆杆体旋转，进行人物追踪，直至检测到电机关闭手势后停止电机旋转，结束人物追踪功能；当检测到拍照手势时，控制器控制自拍杆延时三秒后实现远程拍照。

4.根据权利要求1所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，所述基于深度神经网络的神经网络芯片还用于收到摄像头发来的图像并处理的过程中，在每一个像素点均产生一系列大小不一的边界框，每一个边界框中既预测物体实例的可能性，又预测相对物体真实位置的位置偏移量；以交并比等于0.5为基准，进行非极大值抑制，输出最终的检测结果；以控制驱动电机带动手机固定架随人物位置旋转，启动跟拍功能。

5.根据权利要求1所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，还包括：

电路板，所述神经网络芯片设置在所述电路板上；

设置在自拍杆杆体上的拍照按键，所述拍照按键与所述电路板连接；

设置在自拍杆杆体上的三色LED指示灯，所述三色LED指示灯与所述电路板连接；

设置在自拍杆杆体上的供电电源，所述供电电源与所述电路板连接。

6.根据权利要求3所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，所述供电电源为可充电锂电池或为USB供电接口。

7.根据权利要求3所述基于嵌入式深度神经网络的手势控制与人物追踪自拍杆系统，其特征在于，所述嵌入式深度神经网络模型以已有的DSSD网络框架为基础，以优化的嵌入式深度神经网络Xception组合DSSD网络框架，在网络中部额外增加两个卷积层，并重新调整网络中的参数使之适合于本任务需求。