[发明专利]一种用于人机交互的对象边界确定方法及设备

权利要求书

1.一种用于人机交互的对象边界确定方法，其特征在于，所述方法包括：

场景信息获取步骤，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；

确定步骤，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围；

所述对象为用户操作界面或显示的内容；

所述对象为用户操作界面时，所述确定步骤包括：

所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和各物体相应的类别；

所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；

所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；

所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；

所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面；

所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述确定步骤包括：

所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；

所述云端服务器对所述第一子图片使用ctc算法进行文字内容的识别，识别后将所述文字和相应的位置生成内容数据集；

所述服务器将所述内容数据集传输至所述计算板，所述计算板将所述内容数据集中的位置的信息传输至所述投影单元；

所述投影单元投影出所述计算板得到的内容数据集，并由用户选择需要进行定界的内容；

所述投影单元投影出所述计算板得到的内容数据集并由用户选择需要进行定界的内容包括：

所述投影单元实时监听到所述计算板，当接收到所述计算板发送的识别出的文字及位置后在投影区域中对所述内容进行浅色的显示；

所述用户根据显示出的已识别内容进行选择，选择后会将在对应内容的位置处的边界进行明显化，表示已经选定了当前处的内容。

2.根据权利要求1所述的方法，其特征在于，所述对象为用户操作界面时，

所述方法还包括：

第一更新步骤，计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定。

3.根据权利要求2所述的方法，其特征在于，所述对象为用户操作界面时，所述更新步骤包括：

所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；

所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。