[发明专利]共指理解电子设备及其控制方法

权利要求书

1.一种电子设备，包括：

麦克风；

相机；

存储器，配置为存储至少一个指令；以及

至少一个处理器，连接到所述麦克风、所述相机和所述存储器，并且配置为控制所述电子设备，

其中，所述处理器通过执行所述至少一个指令而配置为：控制所述电子设备获得与通过所述麦克风输入的语音对应的文本，并且基于所获得的文本中包括查询而提供对所述查询的回答，以及

其中，所述处理器还配置为：

基于所述查询中包括共指，识别通过所述相机获取的图像中的与所述共指对应的感兴趣区域，

基于包括所述查询的对话内容，在所识别的感兴趣区域中所包括的至少一个对象之中识别所述共指所指代的对象，以及

提供关于所识别对象的信息作为所述回答。

2.根据权利要求1所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：基于所述共指的距离属性识别所述感兴趣区域。

3.根据权利要求2所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：

基于所述共指是指代位于近距离处的对象的共指，将在所获取的图像中位于相对近距离处的区域识别为所述感兴趣区域，并且基于所述共指是指代位于远距离处的对象的共指，将在所获取的图像中位于相对远距离处的区域识别为所述感兴趣区域。

4.根据权利要求2所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：当第一共指包括在第一查询中并且第二共指包括在所述第一查询或在所述第一查询之后输入的第二查询中时：

根据在所获取的图像的一个区域中识别出所述第一查询中所包括的所述第一共指所指代的第一对象，基于所述第一共指和所述第二共指的距离属性确定所述第一对象与所述第二共指所指代的第二对象之间的相对位置关系，以及

将所获取的图像中相对于所述一个区域具有所述相对位置关系的区域识别为与所述第二共指对应的感兴趣区域。

5.根据权利要求1所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：

从所获取的图像中识别其中各自存在一个对象的至少一个区域，并且基于所获取的图像中的所识别区域的密度识别与所述共指对应的感兴趣区域。

6.根据权利要求5所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：

基于所述共指指代单个对象，将来自所获取的图像的具有相对低密度的所识别区域中的区域识别为所述感兴趣区域，以及

基于所述共指指代多个对象，将来自所获取的图像的具有相对高密度的所识别区域中的区域识别为所述感兴趣区域。

7.根据权利要求1所述的电子设备，其中，所述存储器还配置为存储与所述电子设备配置为在其中进行操作的空间的地图有关的信息以及存在于所述空间中的对象的位置信息，以及

其中，所述处理器还配置为控制所述电子设备以：

基于所述共指包括与所述对象的类型有关的信息，从所存储的所述对象的位置信息获取所述类型的对象所存在的位置信息，以及

基于与所述地图有关的信息，从所获取的图像识别与所获取的位置信息匹配的所述感兴趣区域。

8.根据权利要求1所述的电子设备，其中，所述处理器还配置为控制所述电子设备以：

识别所获取的图像中的存在对象的至少一个区域，

识别所识别区域之中的所述感兴趣区域中所包括的对象，

基于对话内容包括所述查询、先前查询和对所述先前查询的回答，获取关于所述共指所指代的对象的信息，以及

基于所获得的关于所述对象的信息，在所述感兴趣区域中的区域中所包括的对象之中识别所述共指所指代的对象。