[发明专利]基于视频图像的互联网多媒体内容的分类方法

说明书

技术领域

本发明涉及计算机技术领域，具体涉及基于视频图像的互联网多媒体内容的分类方法。

背景技术

随着以互联网信息的爆炸式增长，及时准确的提取和掌握信息情报的能力呈现了强烈的市场需求。科技新宠“数据挖掘技术”应运而生，已经成为新闻舆论，媒体娱乐，商业情报，科学研究等领域占领先机的有力工具。

目前互联网上的内容挖掘分类方法层出不穷。但是它们的实现大多是基于文本信息，一些基于图像的搜索/挖掘以及进行分类的方法只是根据图像底层的纹理，色彩等信息进行，无法分析或根据图像的高层语义，也就是通过图像中具有什么物体来进行，更不用说根据视频/图像中所包含的敏感内容进行挖掘和分类。另外，目前对互联网内容进行挖掘分类的实现过程要么只针对文本，要么只针对图像本身这种单一的模态来进行。

随着互联网上信息的爆炸式增长，视频/图像以其直观性和信息量丰富等都有的特色越来越在社会生活中扮演着重要角色。然而，互联网上的内容纷繁复杂，蔓延着各种色情、血腥、暴力及其它敏感内容，严重危害人们，特别是青少年的成长。因此建立一套高效，多媒体内容挖掘分类方法势在必行。

发明内容

本发明提供基于视频图像的互联网多媒体内容的分类方法，本发明基于视频/图像高层语义分析和高层情感内容进行分类为主，结合语音识别和文本解析技术进行对互联网上相关的视频/图像内容进行分类的方法。该方法通过综合分析能够判断视频/图像中是否含有色情，暴力，恐怖，敏感以及用户可定制特定类别等相关的内容并进行相应的过滤或处理。

为解决上述问题，本发明采用如下技术方案：本发明的具体步骤是：

如图1-2所示，一、对多媒体内容进行分类的人机交互方法：1.用户可以通过电脑，手机，移动终端，及包含智能手表在内的任何智能多媒体IO载体输入他所需要访问的多媒体内容或者是多媒体信息搜索条件；

2.根据多媒体搜索条件从互联网上获得符合条件的多媒体内容；

3.多媒体分类方法对这些内容进行分类和识别；

4.将分类识别的最后结果通过电脑，手机，移动终端，及包含智能手表在内的任何智能多媒体IO载体反馈给用户；

如图3所示，二.对多媒体内容进行分类识别的实现过程：

1.对于获得的多媒体信息中的图像/视频部分：

2.需要判断其中所包含各个物体的区域以及他们的内容；

3.根据视觉感知理论，提取多媒体信息中视频/图像/音频/文本中与感知有关的特征；

4.建立单幅图像中各个物体之间的特征关系，建立视频中不同帧之间同一物体的特征关系，建立视频中不同镜头之间的特征关系，将以文本中相邻关键字之间的特征关系；

5.所有这些多媒体信息，上述信息包含步骤3中的局部关系和步骤4中的相互关系；通过支持大数据的云端处理机制对其内容进行分类，确定它含有哪些敏感内容，比如色情，暴力，恐怖等。一组多媒体信息中可能属于有1个或多个敏感内容类别；

6.将分类结果进行输出；

如图4所示，三.识别视频/图像中中所含物体内容的方法：

1.进行图像分割，获得多个局部区域；

2.对每个区域提取相应的色彩/纹理等信息；

3.分析得到每个区域的物体含义；

4.将具有相同物体含义的，相邻的区域进行合并，等到不同的区域并获知每个区域是什么物体；

5.将时间和空间上相邻的区域和物体进行联合分析和判断，推理出物体的高层语义解释，以及事件/行为的计算机诠释，敏感内容识别。

本发明的实施方式主要分为两部分：1.视频/图像中所包含的众多敏感内容，包括色情，暴力，恐怖等，是人的感知内容，所以我们的方法首先基于感知学的基本原理从视频/图像/音频中抽取与敏感内容相关联的特征；同时，该方法能根据用户自定义敏感信息来进行内容分类和检索2.我们的分类模型不再是对单一的媒体(模态)进行分析，而是将图像中物体之间的关系，视频中前后帧图像和音频的变化，以及文本中关键词上下文关系都考虑进去，建立一个多媒体数据综合分类方法模型。

本发明将实现视频/图像的高层次语义分析和敏感内容的识别，融合文本，语音以及视觉信息完成语义分析和敏感内容识别。该技术不仅适用于对互联网上视频/图像的挖掘/分析，也适用于对离线各个视频内容的分析和判断。目前系统分析识别准确率可达90％。

附图说明

图1是本发明基于视频图像高端语义情感分析的互联网多媒体内容的分类方法的总体处理流程图；