[发明专利]一种拍照框选的方法、装置、电子设备及存储介质

说明书

本发明实施例涉及智能设备技术领域，公开了一种拍照框选的方法、装置、电子设备及存储介质。该方法包括：当接收到框选指令时，利用摄像头获取操作体在承载体上的位置坐标以及操作者的眼球在所述承载体上的注视区域；在所述注视区域内存在且仅存在一个所述位置坐标时，执行第一操作；所述第一操作为基于所述位置坐标以及预设规则对承载体上的内容进行拍照。实施本发明实施例，通过操作体定位和眼球跟踪技术相结合的方式实现框选承载体上的内容，可摒弃多操作体造成无法识别具体框选内容，提高框题准确率，提升框题效率。

技术领域

本发明涉及智能设备技术领域，具体涉及一种拍照框选的方法、装置、电子设备及存储介质。

背景技术

目前，通过学习机、家教机等智能设备具有框题功能，框题方式大致分为两大类，一类是通过智能设备后置摄像头对承载体(例如书本)需要选取的内容进行拍照；另一类是主要是通过智能设备前置摄像头完成，摄像头识别操作体(例如手指)在承载体上位置，然后基于该位置对承载体上的内容进行拍照。框题主要用于搜题，或者用于储存知识点或错题，便于以后的温习等。

第一类框题方式流程比较繁琐，而且还依赖于操作者的拍照水平，过于模糊无法进行后续操作；第二类框题方式使用简单，但是也会存在以下问题：在实践中发现，由于承载体可能会出现褶皱、卷曲等现象，操作者在框题过程中，经常习惯性地用一只手按压承载体的一侧，另一只手作为操作体去定位框选的内容，这种情况下，摄像头会识别到多个操作体，智能设备无法对这种情况做出准备判断，其结果是要么无法识别框选的具体内容，要么造成框选内容与用户的需求不一致。

发明内容

针对所述缺陷，本发明实施例公开了一种拍照框选的方法、装置、电子设备及存储介质，能够提高框题的准确率。

本发明实施例第一方面公开一种拍照框选的方法，所述方法包括：

当接收到框选指令时，利用摄像头获取操作体在承载体上的位置坐标以及操作者的眼球在所述承载体上的注视区域；

在所述注视区域内存在且仅存在一个所述位置坐标时，执行第一操作；所述第一操作为基于所述位置坐标以及预设规则对承载体上的内容进行拍照。

作为一种可选的实施方式，在本发明实施例第一方面中，所述利用摄像头获取操作体在承载体上的位置坐标，包括：

启动第一摄像头，获取带有操作体的承载体的预览图像；

确定预览图像中操作体的图像坐标；

利用所述图像坐标确定所述操作体的位置坐标。

作为一种可选的实施方式，在本发明实施例第一方面中，所述确定预览图像中操作体的图像坐标，包括：

利用所述操作体和承载体上的内容之间的颜色差异识别所述操作体；

确定所述操作体在预览图像中的图像坐标。

作为一种可选的实施方式，在本发明实施例第一方面中，所述利用摄像头获取操作者的眼球在所述承载体上的注视区域，包括：

启动第二摄像头，获取操作者的脸部图像；

确定所述脸部图像中瞳孔中心的位置以及所述瞳孔中心的位置相对于基准点的偏移量；

基于所述偏移量确定所述眼球的视线方向及在所述承载体上的注视点；

以所述注视点为中心，确定注视区域。

作为一种可选的实施方式，在本发明实施例第一方面中，确定所述脸部图像中瞳孔中心的位置以及所述瞳孔中心的位置相对于基准点的偏移量，包括：

将所述脸部图像输入在先训练的卷积神经网络确定瞳孔的特征点；

利用所述瞳孔的特征点确定瞳孔中心的位置；