[发明专利]融合AV视频通讯与AI实物识别的在线视频系统及方法

权利要求书

1.一种基于融合AV视频通讯与AI实物识别的在线视频系统的方法，其特征在于，融合AV视频通讯与AI实物识别的在线视频系统，包括终端主体(1)、可旋转脚架(2)和双摄像头机构(3)；所述终端主体(1)的背面安装所述可旋转脚架(2)，通过所述可旋转脚架(2)，调节所述终端主体(1)的使用角度；所述终端主体(1)的顶部安装所述双摄像头机构(3)；

所述双摄像头机构(3)包括支撑架(3.1)、双摄像头收容腔(3.2)、主摄像头(3.3)、从摄像头(3.4)、陀螺仪(3.5)和主控电路板(3.6)；

所述支撑架(3.1)可转动安装于所述终端主体(1)的顶部；所述支撑架(3.1)的顶部一体成形所述双摄像头收容腔(3.2)；所述主摄像头(3.3)、所述从摄像头(3.4)、所述陀螺仪(3.5)和所述主控电路板(3.6)均设置于所述双摄像头收容腔(3.2)的内部；其中，所述主摄像头(3.3)前向设置，所述从摄像头(3.4)前向且斜向下设置，所述主摄像头(3.3)的主光轴与所述从摄像头(3.4)的从光轴具有一定的夹角；所述陀螺仪(3.5)用于采集所述主摄像头(3.3)的主光轴的设置角度；所述主摄像头(3.3)、所述从摄像头(3.4)和所述陀螺仪(3.5)均连接到所述主控电路板(3.6)；

其中，转动所述支撑架(3.1)，调节所述主摄像头(3.3)的主光轴的角度，当所述主摄像头(3.3)的主光轴为水平方向时，所述主摄像头(3.3)采集所述终端主体(1)正前方的视频信息，进而实现视频通讯；此时，所述从摄像头(3.4)的从光轴与所述主摄像头(3.3)的主光轴的夹角为60度，所述从摄像头(3.4)采集所述终端主体(1)前方底面的视频信息，进而实现对所述终端主体(1)前方底面放置物的AI实物识别；

其中，所述主摄像头(3.3)设置于所述双摄像头收容腔(3.2)的中心位置，所述主摄像头(3.3)的主光轴与所述双摄像头收容腔(3.2)的轴心平行；所述从摄像头(3.4)倾斜设置于所述双摄像头收容腔(3.2)的底面凹槽中；

其中，所述主控电路板(3.6)为SOC芯片；

所述陀螺仪(3.5)通过I2C总线连接到SOC芯片；所述主摄像头(3.3)的输出端连接到第一数字信号处理器DSP1的输入端；所述第一数字信号处理器DSP1的输出端连接到USB-HUB集线器的输入端；所述从摄像头(3.4)的输出端连接到第二数字信号处理器DSP2的输入端；所述第二数字信号处理器DSP2的输出端连接到USB-HUB集线器的输入端；所述USB-HUB集线器的输出端通过USB总线连接到SOC芯片；

方法包括以下步骤：

步骤1，设从摄像头(3.4)的光轴与水平面夹角的有效范围为β₁～β₂；在β₁～β₂之间选取若干个角度值；对于每个角度值β_i，β_i∈[β₁，β₂]，均预存储对应的透视畸变矩阵；

步骤2，主摄像头(3.3)的主光轴与从摄像头(3.4)的从光轴之间的夹角为固定值，设该夹角为夹角γ；

步骤3，调节可旋转脚架(2)的角度，进而调节终端主体(1)的安装角度；调节支撑架(3.1)的角度，进而调节主摄像头(3.3)和从摄像头(3.4)的安装角度；

步骤4，陀螺仪(3.5)实时采集主摄像头(3.3)的主光轴与水平面的夹角α，并实时将夹角α发送给主控电路板(3.6)；

步骤5，一方面，主摄像头(3.3)实时采集终端主体(1)前方的视频图像，经数字信号处理以及编码后，得到编码后的视频图像；然后，将所述编码后的视频图像发送给主控电路板(3.6)，主控电路板(3.6)再将所述编码后的视频图像通过网络发送给另一端，由此实现视频沟通的功能；

另一方面，主控电路板(3.6)根据陀螺仪(3.5)采集到的夹角α、以及主摄像头(3.3)的主光轴与从摄像头(3.4)的从光轴之间的夹角γ，换算得到从摄像头(3.4)的从光轴与水平面的夹角θ；然后，所述主控电路板(3.6)判断夹角θ是否位于β₁～β₂之间，如果不位于，则不再进行AI实物识别的过程；如果位于，则执行步骤6；

步骤6，所述主控电路板(3.6)根据步骤1预存储的角度值β_i和透视畸变矩阵的映射关系，得到与夹角θ最接近的角度值β_i；进而得到与角度值β_i对应的透视畸变矩阵；该透视畸变矩阵即为与夹角θ对应的透视畸变矩阵；

然后，所述从摄像头(3.4)实时采集到其采集视野的视频图像信息，并实时发送给所述主控电路板(3.6)；

所述主控电路板(3.6)根据与夹角θ对应的透视畸变矩阵，对实时采集到的视频图像信息进行图形畸变校正，得到校正后的视频图像信息；然后，所述主控电路板(3.6)基于所述校正后的视频图像信息进行AI实物识别；

其中，步骤1中，通过以下方法，获得与每个角度值β_i对应的透视畸变矩阵：

步骤1.1，终端主体(1)通过可旋转脚架(2)支撑于桌面；在终端主体(1)前方的桌面上放置正方形标图，所述正方形标图位于所述从摄像头(3.4)的采集范围；

步骤1.2，调节所述双摄像头机构(3)的角度，使所述从摄像头(3.4)与水平面的夹角为角度值β_i；然后，所述从摄像头(3.4)采集所述正方形标图的成像图；所述成像图为梯形形状图；记录所述梯形形状图的四个顶点的坐标，分别为：P1、P2、P3和P4；对所述梯形形状图的四个顶点进行校正，校正为正方形形状图，记录所述正方形形状图的四个顶点的坐标，分别为P1’、P2’、P3’和P4’；

步骤1.3，根据P1、P2、P3和P4四个顶点，与对应的P1’、P2’、P3’和P4’四个顶点的转换关系，得到与角度值β_i对应的透视畸变矩阵；

其中，步骤1中，β₁为55度；β₂为80度；在55度～80度之间，每隔5度选取一个角度值β_i；

其中，AI实物识别技术为基于DeepLearning框架实现并进行多轮工程优化的算法集：具有以下特点：

(1)CLSR：Colored Light Spectrum Recovery

有色光纠正算法：自动修正环境光色温偏差，提高AI识别精度

(2)RIR：Robust Image Recognition

鲁棒图像识别：通过正样本和负样本的采样比较进行图像识别

(3)OSRA：Objects Spatial Relationship Abstraction

物体位置区块算法：图像智能定位，剔除画面中其他干扰元素

(4)WSEA：Writing Stroke ExtractionAnalysis

笔迹描红对比分析：笔迹对比分析进行文字识别

(5)AHEA:Academic Handwriting and Emotion Analysis

手写笔迹与情感分析：通过更多风格的笔迹采样，分析，进行深层次的手写文字对比识别；

为提高AI实物识别精度，在进行AI实物识别时，还采用了畸变图像的校正功能；

具体的，在标准状态下，主摄像头的光轴水平，从摄像头光轴与水平面成60°拍摄，此时，对于从摄像头，由于拍摄时从摄像头视角的原因，导致透视畸变，原始的正方形图像，经从摄像头拍摄后，成像为梯形；

距离摄像头越近的边，成像后的对应边越长，距离摄像头越远的边，成像后的对应边越短，由于这种畸变现象，导致AI识别图像的准确度较低；如果需要恢复被拍摄物的形状或者从原来图像中提取标志点的真实位置信息，就应该消除图像的透视效应；对这幅图像透视校正的目的就是纠正这种形变，得到正方形的正视角图像；

透视变换，对畸变图像的校正需要取得畸变图像的一组4个顶点的坐标和校正后图像的一组4个顶点的坐标，通过两组坐标点计算出透视变换的透视畸变矩阵，之后对整个原始图像执行透视畸变矩阵的变换，实现图像校正；

具体思路如下：

(一)标准状态下的校正

(1)标准状态下，主摄像头水平，从摄像头与被拍摄面成60°夹角；

(2)将棋盘格标图或正方形标图放到桌面进行拍摄，保证标图完整落到从摄像头成像区域；

(3)对成像到的图形的4个角点进行校正，校正为正方形，得到校正后图像的4个角点坐标；根据校正前4个角点坐标与校正后4个角度坐标的对应关系，获取到透视变换矩阵；

在标准状态下，整个图像进行T_60透视畸变矩阵变换，得到校正后的图像；

(二)实际用户身高，距离，使用习惯的差异，主摄像头并非始终水平，从摄像头与水平面的拍摄角度也会不同，透视变换矩阵并不固定，增加陀螺仪测量主摄像头光轴角度数据，同步给系统；系统根据陀螺仪测量到的主摄像头光轴角度数据、以及主摄像头和从摄像头光轴夹角数据，得到从摄像头光轴与水平面夹角值；根据电脑模型模拟不同场景和用户身高数据，确定支持AI实物识别的主摄像头光轴旋转范围设计为-5°至20°，在其他角度只能进行主摄像头的视频通话；按照这个范围以5°步进从摄像头与水平面的夹角为55°，60°，65°，70°，75°，80°，其中60°角度为标准角度；

在55°～80°范围内，按5°步进分别进行采样计算透视变换矩阵预存，系统根据陀螺仪的角度信息调用不同参数进行图形校正；

也可以按1°步进进行采样；

同正方形标图方法拍摄取四角点计算出透视变换矩阵的思路相同，将步进到的55°，65°，70°，75°，80°分别命名为T_55,T_65,T_70....T_80，并同标准角度的透视畸变矩阵T_60一并存入系统；

在系统调用从摄像头时候，同时读取陀螺仪角度信息，然后调用对应角度的透视变换矩阵对整个图像进行变换，实现不同角度的透视变换校正。