[发明专利]一种深度多层网络驱动的特征聚合类别划分器

说明书

本发明提出的一种深度多层网络驱动的特征聚合类别划分器，比单模态的类别划分有较大提升，通过对每个类别的错误分类实例进行分析，发现多模态的学习分类方法明显错误更少，错误原因更易查找和解决。在对统计差异性大的不同模态特征的关联学习上，深层的学习模型更具优势。而对于使用不同特征的同一模型，实验发现使用区域卷积神经网络驱动的模态聚合模型在单个类上的准确率大都优于使用文档主题和卷积神经网络驱动的模态聚合模型。另外，在性能上，由于使用区域卷积神经网络驱动的模态聚合模型具有运算性能上的优势，特征提取速度更快，从而使整个过程获得了更高的效率和准确率。

技术领域

本发明涉及一种特征聚合类别划分器，特别涉及一种深度多层网络驱动的特征聚合类别划分器，属于计算机实体分类技术领域。

背景技术

随着网络技术的进步和快速发展，互联网成为信息传播的重要角色，是人们获取各类信息的重要方式之一。越来越丰富的资源开始在互联网上大量出现，这些资源表现出多模态的特点，包括音频、文字、图片、视频等多种信息。以新闻报道为例，通常一个新闻页面有新闻的文字描述以及配图信息等，有的还配有视频介绍等，尽管这些信息分属不同的模态，但其内容都是围绕新闻事件展开的，它们的描述在语义上存在非常强的关联性。总体而言，互联网上的多模态数据呈现出数据量大、模态混合方式多样、模态间语义关联性强等特点。

从现实世界中收集的信息越来越多的表现为多模态的混合体，如网络图片与相关的叙述性描述文稿，一篇新闻报道文章以及与其配对插图等。同样，百科页面中越来越多的出现多媒体内容，社交网络更是从纯文稿到图片、表情、视频等多媒体资源的极大丰富。因此，对多模态数据的类别划分具有重要的现实意义，它既是跨模态的信息检索、跨模态的问答系统等专业领域的方向，也能极大促进关联实体背后分析技术和应用的进步。

互联网上大量涌现的丰富资源表现出关联性和多模态性，在资源实体间，它们越来越普遍的与彼此发生关联，相互链接、相互引用等，而在资源实体内，它们又蕴含多种不同表现形式的数据，如音频、文字、图片、视频等，这些表现形式不同的数据从人类不同的感观对概念进行描绘，通过不同感观的混合刺激，使人们更全面、便携的获取信息，扩大了信息数量，也提升了信息流动速度。这些资源极大了丰富了人们的生活，但对于管理和挖掘这些信息的人和系统而言则提出了更高的要求。

结合多模态特性对关联的实体分类，既遵循了网络世界信息内容不断丰富的客观事实，又是进一步探索各类信息在相互作用规律的需要。现有技术提供了分析单模态数据的有力方法，但在处理表现力更强的混合数据时，却受限于浅层结构的表达能力，而深度多层网络为多模态数据表示和建模开辟了新的机遇。

在多模态数据不断增长的大数据时代，对多模态数据挖掘的需求也在不断增加。从理论上而言，由于多模态的信息之间存在关联，使用二个或多个模态的信息必然大于单一模态的信息。因此，现有技术的数据挖掘方法对单个模态的信息完成处理和挖掘从某种程度上来说丢弃了其余模态中的有用信息，产生了巨大的资源浪费，而分别对每个模态分析和学习，又不可避免的增加了大量的计算量和存储资源，而由于模态的分离，模态间的关联难以被有效挖掘。因此，在面向多模态数据时，传统的单模态数据挖掘方法，难以避免信息的巨大浪费，不能满足日益增长的多模态数据挖掘的需求。为充分利用各模态自身的信息资源，又考虑多模态信息之间的相互关联，提出多模态学习方法，以提高多模态相关的各个任务的性能。