[发明专利]图像筛选方法、装置电子设备及可读存储介质

权利要求书

1.一种图像筛选方法，其特征在于，所述方法包括：

提取目标文件中包含的各图像和目标文本信息，其中，所述目标文本信息包括：文件标题、文件正文首段以及文件正文末段中的至少一个；

分别确定各所述图像的图像特征向量和所述目标文本信息的文本特征向量；

针对每个所述图像，依据所述图像的图像特征向量和所述文本特征向量，确定所述图像被筛选为目标图像的概率值；

依据各所述图像对应的概率值，从各所述图像中筛选出目标图像。

2.根据权利要求1所述的方法，其特征在于，针对每个所述图像，依据所述图像的图像特征向量和所述文本特征向量，确定所述图像被筛选为目标图像的概率值的步骤，包括：

针对每个所述图像，计算所述文本特征向量与所述图像的图像特征向量的内积；

基于第一函数，在目标区间中确定所述内积对应的数值，基于所述数值得到所述图像被筛选为目标图像的概率值。

3.根据权利要求1所述的方法，其特征在于，在所述提取目标文件中包含的各图像和目标文本信息的步骤之前，所述方法还包括：

获取多条训练数据，其中，每条训练数据包括文本信息、封面图像和非封面图像；

对所述多条训练数据进行筛选，得到目标训练数据；

针对每条所述目标训练数据，标记封面图像并从所述目标训练数据的文本信息中提取第一文本信息，其中，所述第一文本信息包括：标题、所述文本信息正文首段以及所述文本信息正文末段；

依据各条训练数据对应的标记后的封面图像、非封面图像和第一文本信息对所述多模态模型进行训练，得到训练后的多模态模型。

4.根据权利要求3所述的方法，其特征在于，依据各条训练数据对应的标记后的封面图像、非封面图像和第一文本信息对所述多模态模型进行训练，得到训练后的多模态模型的步骤，包括：

针对每条所述目标训练数据，提取所述标记后的封面图像和非封面图像的第一信息与第二信息，基于所述第一信息和第二信息得到图像特征向量序列，其中，所述封面图像对应的特征向量位于所述图像特征向量序列的首位；

对所述第一文本信息进行语义理解，获得所述第一文本信息对应的语义信息；

基于所述语义信息得到第一文本特征向量；

分别计算所述第一文本特征向量与所述图像特征向量序列中包括的各图像特征向量的内积；

基于所述对所述多模态模型进行训练，得到训练后的多模态模型。

5.根据权利要求3所述的方法，其特征在于，对所述多条训练数据进行筛选，得到目标训练数据的步骤，包括：

将所述多条训练数据中，文本信息的文字数量小于第一预设值，或图像个数小于第二预设值的第一训练数据筛除，得到目标训练数据。

6.一种图像筛选装置，其特征在于，所述装置包括：

提取模块，用于提取目标文件中包含的各图像和目标文本信息，其中，所述目标文本信息包括：文件标题、文件正文首段以及文件正文末段中的至少一个；

特征向量确定模块，用于分别确定各所述图像的图像特征向量和所述目标文本信息的文本特征向量；

概率确定模块，用于针对每个所述图像，依据所述图像的图像特征向量和所述文本特征向量，确定所述图像被筛选为目标图像的概率值；

筛选模块，用于依据各所述图像对应的概率值，从各所述图像中筛选出目标图像。

7.根据权利要求6所述的装置，其特征在于，所述概率确定模块包括：

第一子模块，用于针对每个所述图像，计算所述文本特征向量与所述图像的图像特征向量的内积；

第二子模块，用于基于第一函数，在目标区间中确定所述内积对应的数值，基于所述数值，得到所述图像被筛选为目标图像的概率值。