[发明专利]一个基于多媒介用户交互的电子绘画创作的方法

权利要求书

1.一个基于多媒介用户交互的电子绘画创作的方法，使用绘图软件绘制的元素和从图片中提取的绘画元素组成绘画的内容，用户通过静态手势和语音调整每个绘画元素的大小和位置，其特征在于使用从图片中提取的绘画元素组成绘画的内容包括如下步骤：

1)用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集；

2)用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片；

3)自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素；

所述的自动对用户选取的图片进行分割，提取图片中的元素，通过识别用户的语音、静态手势或眼球跟踪从分割结果中选取用户需要的元素为：

(1)通过识别用户的语音从分割结果中选取用户需要的元素为：使用图像分割算法对选中的图片进行分割，提取图片中的元素，并对提取出来的每一个元素进行编号，用户通过麦克风说出元素的编号；

(2)通过识别用户的静态手势从分割结果中选取用户需要的元素为：用户用手指指向从图像中提取出来的一个元素，摄像头会捕捉到用户的手势，并且分析用户的手势指向屏幕中的哪个区域，确定用户想要选取哪一个分割元素；

(3)通过识别用户的眼球跟踪从分割结果中选取用户需要的元素为：通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的分割元素。

2.根据权利要求1所述的一个基于多媒介用户交互的电子绘画创作的方法，其特征在于所述的用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集为：

(1)通过语音的方法从图片素材库中搜索候选图片集为：用户通过麦克风，说出搜索对象的名称、包含名称的简短的句子或模仿绘画对象的声音，系统会根据用户说出的内容确定用户要搜索的对象名称，然后从图片素材库中搜索候选图片集；

(2)通过静态姿势的方法从图片素材库中搜索候选图片集为：用户通过静态姿势模仿想要绘画的对象的样子，通过摄像头捕捉到用户的模仿效果，并且分析和提取用户静态姿势的形状特征，并且根据提取出来的形状特征从图片素材库中搜索候选图片集；

(3)通过动态肢体表演的方法从图片素材库中搜索候选图片集为：用户通过动态肢体表演模仿想要绘画的对象的样子，通过摄像头捕捉到用户的肢体表演，并且分析和提取用户表演的动态特征，并且根据提取出来的特征从图片素材库中搜索候选图片集；

(4)通过素描绘画的方法从图片素材库中搜索候选图片集为：用户使用绘图软件绘制素描，然后根据素描在图片素材库中搜索候选图片集；或者用户在纸上绘制素描，通过摄像头捕捉到该素描，然后根据该素描在图片素材库中搜索候选图片集。

3.根据权利要求1所述的一个基于多媒介用户交互的电子绘画创作的方法，其特征在于所述的用户通过语音、静态手势或眼球跟踪选取候选图片集中的一幅图片为：

(1)通过语音选取候选图片集中的一副图片为：候选图片集中的图片会被分页显示，每一页的每一幅图片都有一个编号，用户通过麦克风说出选择的图片的编号；

(2)通过静态手势选取候选图片集中的一副图片为：用户通过用手指指向候选图片集中的一幅图片，通过摄像头捕捉到用户的静态手势，分析用户的手势指向屏幕的哪个区域，确定用户想要选取哪一幅图片；

(3)通过眼球跟踪选取候选图片集中的一副图片为：通过摄像头追踪用户的眼球运动，通过统计用户的目光停留在屏幕上哪个区域的时间最长来确定用户想要选取的图片。