[发明专利]基于增强现实的PPT增强展示系统

权利要求书

1.一种基于增强现实的PPT增强展示系统，部署在用户所使用电子设备上，其特征在于：包括高亮文字识别模块、增强展示模块和模型控制模块；所述高亮文字识别模块完成捕获摄像机画面、截取高亮区域、调用百度OCR服务识别高亮文字三个子功能，从而实现对高亮文字的识别；所述增强展示模块完成访问百度百科Web服务、在屏幕上展示高亮文字百科解释、AR方式叠加展示高亮文字对应的3D模型三个子功能，实现对高亮文字的增强展示；所述模型控制模块为用户提供高亮文字对应的3D模型操控功能；当3D模型以AR方式呈现在摄像机对准的现实世界中的平面上后，用户通过触摸手势对3D模型进行控制与交互。

2.根据权利要求1所述的基于增强现实的PPT增强展示系统，其特征在于：所述高亮文字识别模块基于Unity3D引擎和OpenCV库识别高亮区域的高亮文字，具体包括以下步骤：

步骤1：通过Unity3D引擎捕获用户所使用电子设备的摄像机画面截图；

步骤2：对摄像机画面截图进行图像处理获取高亮区域；

步骤2.1：制作摄像机画面截图中高亮区域的初始掩膜；

步骤2.2：对高亮区域的初始掩膜进行降噪，得到原高亮区域的精准掩膜，使掩膜精准覆盖高亮区域；

步骤2.3：使用精准掩膜获取摄像机画面截图中的高亮区域，得到高亮区域图像；

步骤3：通过OCR识别高亮区域图像中的高亮文字。

3.根据权利要求2所述的基于增强现实的PPT增强展示系统，其特征在于：所述增强展示模块基于Vuforia实现对高亮文字的AR增强展示，增强展示高亮词语对应的百科解释及高亮词语对应的3D模型。

4.根据权利要求3所述的基于增强现实的PPT增强展示系统，其特征在于：所述步骤1的具体方法为：

步骤1.1：将Vuforia包导入Unity3D引擎，并将Vuforia包中的ARCamera组件添加进Unity3D引擎当前场景，通过Unity3D引擎提供的GameObject.Find函数定位到ARCamera组件，并获取ARCamera组件中的camera部件；

步骤1.2：定义Unity3D中的数据结构RenderTexture并将ARCamera渲染的摄像机画面截图保存至RenderTexture中；

步骤1.2.1：获取当前用户所使用电子设备屏幕的宽高，并用此宽高初始化RenderTexture类型对象rt；

步骤1.2.2：将ARCamera的目标贴图设为rt，并启动ARCamera渲染，捕获当前ARCamera的画面保存至对象rt；

步骤1.3：从RenderTexture中读取捕获到的当前摄像机画面截图；

步骤1.3.1：激活RenderTexture，使其中保存的摄像机画面截图可读出；

步骤1.3.2：使用当前用户所使用电子设备屏幕宽高初始化Texture2D类型的对象texture，格式为RGB24；

步骤1.3.3：调用Texture2D类中的ReadPixels函数读取RenderTexture中保存的摄像机画面截图，截图范围设置为从左下角开始至整个屏幕大小；

步骤1.3.4：读取截图后调用Texture2D类的Apply函数保存截图的像素信息；

步骤1.4：恢复相机渲染目标至屏幕；将ARCamera的目标贴图设为空，即重新指向屏幕，并关闭RenderTexture的激活状态，删除Rendertexture对象；

步骤1.5：调用OpenCV库中的texture2DToMat函数将摄像机画面截图texture转换为Mat类型。