[发明专利]一种综合文字和形状的故事图像序列生成方法

说明书

技术领域

本发明涉及一种图像序列生成方法。

背景技术

Storytelling(讲故事)在人们传达信息，认知世界的过程中发挥着重要作用。传统的讲故事主要通过文本或者声音来表达呈现，但“一图胜千言”，通过图像形式(如插图配文字) 呈现故事内容能更好的传达信息，激发想象力。近年来，随着数码相机等多媒体设备的普及发展，一种把讲故事的艺术与多媒体工具(图片，视频，动画等)结合的新的storytelling形式产生了，我们把这个实现过程称之为数字故事可视化。与故事可视化相关的工作也受到了各国学者的关注和参与。

一些研究人员尝试用电脑给人们提供故事可视化的环境和工具，并已取得了一些研究成果[1]。有些研究尝试从网上搜索贴近文字内容的图片来描述故事场景[2，3，4]，有些则提供工具来为特定的故事场景来合成相应的图片[5]。但是，这些研究都存在一些问题，很多时候用户很难从网上直接获取一张能够准确描述故事场景的图片，而特定场景的图像合成又往往内容受限，无法真正地展现丰富的故事内容。此外，图像匹配、图像合成等近年来都有了较大的发展，对本专利的技术思路有较大的启发。如李建增、张岩等在专利“快速鲁棒性尺度不变的图像匹配方法”[6]中提出了尺度不变的图像匹配方法。谢杰融在专利“图像合成系统及方法”[7]中提出了一种将前景对象和背景图合成的方法，该方法通过对前景物体进行色彩处理，使得前景物体与背景物体合成后的图像能够在色彩上保持一致。

发明内容

本发明提供一种综合文字和形状的故事图像序列生成方案。从互联网上海量数据集中搜索出符合故事文本关键字的候选图像集，并根据前景过滤和背景过滤算法对图像进一步筛选，最后通过图像合成技术，一致性优化等策略能够合成符合用户需求的故事图像序列。技术方案如下：

一种综合文字和形状的故事图像序列生成方法，包括下列步骤：

1)文本故事解析

对输入的故事脚本进行解析，完成从文本故事到对象关键字的提取工作，并利用关键字分别搜索下载符合语义的图像，建立各场景对象的初始图像集，包含初始背景图像集B_ini和初始前景图像集F_ini；

2)背景过滤

对于背景的选择，遵循两个原则:一是背景内容应该与指定文本关键字一致，二是背景内容应该构图简单，背景的初始图像集为B_ini，背景过滤结果得到的候选背景图像用B_flt表示；

3)基于显著性的图像前景形状提取

利用显著性图来自动提取图像前景轮廓，以此生成图像前景形状集F_shp，算法如下：

第1步：基于颜色特征来对F_ini中的图像进行全局显著性度量，在lαβ颜色空间中，两个像素颜色差别可以用这两个像素的lαβ距离表示，距离差值的大小决定了像素之间的相似程度，以I来表示F_ini中的图像，将I转换到lαβ空间；

第2步：定义图像中某像素的显著性值为该像素与图像中其他像素颜色的二范式，图像 I中的像素I_k的显著性定义公式为：

其中，D(I_k,I_i)为两个像素I_k和I_i在lαβ空间的颜色距离度量；

第3步：对公式(1)计算的像素的显著性值进行重新排列，将具有相同颜色值的像素归为一类，从而得到每一种颜色的显著性值，如公式(2)所示：

其中，n为图像中所含的颜色种类个数，c_l为第k个像素I_k的颜色值，f_j为c_j在图像I 中出现的概率；以此得到图像I的全局显著性图；

第4步：生成了显著性图后，选择合适的阈值来对其进行显著性分割，从而得到二值黑白图像，然后迭代的使用GrabCut分割算法来改善分割结果；

第5步：对F_ini中的每张图像执行上述操作，由此得到前景形状图集F_shp；

4)前景过滤

获取前景形状图集F_shp后，进一步引入用户草图，对其进行形状过滤，过滤结果用F_flt表示，具体过程如下：

第1步：用户手绘形状草图S，以此描述前景物体的大致轮廓；