[发明专利]电子设备以及电子设备的搜索方法、介质

说明书

本申请涉及人工智能领域，公开了一种电子设备以及电子设备的搜索方法、介质。本申请的搜索方法包括：获取用户输入的搜索数据；提取搜索数据的特征，并基于提取的特征生成搜索数据的搜索特征向量；将搜索特征向量与索引库中的多个索引特征向量进行比对，以选择出索引库中与搜索特征向量之间的相近度大于相近度阈值的索引特征向量，其中，在索引库中，多个索引特征向量与多个模态的多个结果数据之间存在对应关系；将与选择出的索引特征向量对应的结果数据作为搜索结果输出，其中，搜索结果包括的结果数据具有多个模态，以此实现多模态全局搜索的功能。

技术领域

本申请涉及人工智能领域，特别涉及一种电子设备以及电子设备的搜索方法、介质。

背景技术

近年，随着机器学习和深度学习快速发展，极大地促进了搜索功能的发展。目前，手机具有全局搜索的功能，可以对图库里的图片进行搜索、通过浏览器进行互联网搜索以及对其他各应用进行的搜索。现有的搜索技术中，大多数是基于内容的搜索，以图像搜索为例，主要过程为：由人工或者预训练好的模型自动给图片标注标签，并将标签保存在数据库，然后用户通过输入关键词和数据库的标签的文本匹配，返回搜索结果。并且大部分搜索都是单模态媒体数据的搜索，比如图库中通过文本输入搜索图片，或者某些互联网中以图搜图的搜索。

发明内容

本申请实施例提供了一种电子设备以及电子设备的搜索方法、介质，能够将多模态数据特征向量映射在高维统一向量中，进而通过一个模型实现在电子设备上的多模态全局搜索。

第一方面，本申请实施例提供了一种电子设备以及电子设备的搜索方法，上述方法包括：

获取用户输入的搜索数据；提取搜索数据的低层次特征，并基于提取的低层次特征生成搜索数据的搜索特征向量；将搜索特征向量与索引库中的多个索引特征向量进行比对，以选择出索引库中与搜索特征向量之间的相近度大于相近度阈值的索引特征向量，其中，在索引库中，多个索引特征向量与多个模态的多个结果数据之间存在对应关系。将与选择出的索引特征向量对应的结果数据作为搜索结果输出，其中，搜索结果包括的结果数据具有多个模态。即首先获取用户输入的搜索数据，比如，获取用户输入的图像数据，然后提取该图像数据的低层次的特征，比如提取图像的颜色、纹理、灰度等低层次的特征，然后生成这些低层次的特征对应的特征向量，将特征向量与存储在索引库中的索引特征向量进行相近度比较，得到与搜索数据的特征向量相近度高的特征向量，然后根据索引库中索引特征向量之间具有的相关性索引关系，确定多个特征向量以及和多个特征向量所对应的结果数据。

在上述第一方面的一种可能的实现中，上述方法还包括：

搜索特征向量与索引特征向量之间的相近度通过以下公式计算得出：

其中，d表示搜索特征向量与索引库中存储的多个特征向量之间的相近度，x_i表示输入数据的特征向量，y_i表示索引库中存储的多个特征向量，i表示输入数据的特征向量或索引库中存储的多个特征向量的维度。

即上述搜索特征向量和索引特征向量之间的相近度可以通过欧氏距离计算，当然，可以理解的，相近度的计算也可以通过其他方式计算，比如皮尔逊系数等。

在上述第一方面的一种可能的实现中，上述方法还包括：

电子设备上具有索引库，并且，与索引库中的多个索引特征向量具有对应关系的多个模态的多个结果数据为电子设备上的数据。

在上述第一方面的一种可能的实现中，上述方法还包括：

电子设备为移动终端。即电子设备不限于手机等移动终端，还可以是服务器、PC等电子设备。

在上述第一方面的一种可能的实现中，上述方法还包括：