[发明专利]面向跨媒体新闻检索的人脸-人名对齐方法及系统

权利要求书

1.一种跨媒体新闻检索中基于图像特征和文本语义的人脸-人名对齐方法，其特征在于具体步骤如下：

(1) 图像与文本预处理，针对原始新闻图像信息，进行人脸与人名的检测和提取，并对检测和提取出来的人脸图像进行预处理与相似性度量；

(2) 人名重要性评估，对新闻图像带有的文本标注进行多层次的文本分析，利用各个人名在对应文本标注中出现的频率、句法分析树中的深度、句法分析树中的广度遍历顺序三个要素，对从文本标注中检测提取出来的所有人名度量各自的相对重要性；

(3) 基于Web挖掘的多模态信息发现，将一些在当前新闻图像集中出现仅一次或少数几次的人名作为查询文本，通过主流的图像搜索网站对其进行图像检索，并对所有的信息检索结果进行评估，衡量这些检索结果与当前查询人名的相关性，以此实现针对这些特殊人名获得更为充分的附加多模态信息资源；

(4) 人脸集内聚度度量，在人脸与人名的对齐过程中，对任意一种全局对齐方式利用k近邻算法计算各个人名对应的人脸集中所有人脸的紧密度分值，以此获得各个人脸集的内聚度，进而对当前人脸-人名对齐方式进行有效评估；

(5) 多模态对齐组合优化，利用各人脸集的内聚度，设定全局目标函数，并按照人脸-人名对齐分配的处理机制，设立全局约束条件，建立整数规划模型，采用改进的自适应遗传算法进行问题求解，同时结合模拟退火算法，以此能够同时具有较好的全局解与局部解的寻优能力，进而最终能够更好地对人脸-人名对齐问题进行求解。

2.根据权利要求1所述的方法，其特征在于在人名重要性评估步骤中，对人名所属的文本标注进行深层次分析，对文本构造其相应的句法分析树，将人名实体在对应句法分析树中的深度以及在该树中的广度优先遍历顺序作为两个句法分析要素；另外，从统计方面出发，将人名在文本中出现的次数也作为一个句法分析要素；最终，以这三个要素共同评估人名重要性；

假定一条新闻图像标注中包含N个不同的人名，每个人名都具有其各自的人名类NC_i，每个人名类中包含一个或多个人名名称，这些人名名称均指向同一个人，并用NC_ij表示人名类NC_i中第j个人名，则任一人名类                                                的句法分析树深度定义如下：

      (1)

其中，SNC(NC_i)表示人名类NC_i的大小，即该人名类中所包含的具有内联性并指向同一个人的不同人名形式个数；SPT_Depth(NC_ij)表示NC_ij在相应句法分析树中的深度值；

同时，任一人名类NC_i的句法分析树遍历顺序定义如下：

    (2)

其中，SPT_BFT-Order(NC_ij)表示人名NC_ij在相应句法分析树中的遍历顺序；

最后，每个人名类的相对重要性可由以上两个要素以及在相应文本中出现的次数共同来决定，并给这三个要素分配不同的权值系数，通过它们的线性组合进行计算，则相对重要性定义如下：

         (3)

其中，α、β及γ分别表示SNC、SPTD和SPTTO的影响因子，代表这三个要素在计算人名重要性时的贡献程度，并且α+β+γ=1。