[发明专利]图象合成

说明书

本发明是关于活动图象的合成，例如伴随合成语音。

按照本发明，提供一种生成表示具有与口语发声相匹配的有形发音的面部活动图象的信号的方法，包括：

接收一系列对应于发声的连续部分的语音表述；

辨明第一类型的各语音表述的口形；

辨明由一第一类型语音表述到第二类型语音表述的各个转换、由一第二类型的语音表述到第一类型语音表述的各个转换由一第二类型的语音表述到第二类型语音表述的各个转换的口形；和

生成一系列包含有被辨明形状的图象帧。

第一和第二类型可以分别为元音和辅音，这样，本发明一优选实施例即提供一生成表示具有与口语发声相匹配的有形发音的面部活动图象的方法，包括：

接收一系列对应于发声的相接续的音素的发音表述；

辨明各元音音素的口形；

辨明由元音音素到辅音音素的各个转换、由辅音音素到元音音素的各个转换和由辅音音素到辅音音素的各个转换的口形；和

生成一系统包含被辨明形状的图象帧。

对辅音与元音音素间的各个转换的口形辨识可作为元音音素和辅音音素的函数来进行，而对二辅音音素之间的各转换则可作为二辅音音素中的第一个和与其最接近的后面或前面的元音音素的函数来进行。或者，对两辅音音素之间的各转换的口形辨识可作为二辅音音素中的第一个和紧随其后的元音音素的、或者在没有此音素时则为其前面的元音音素的函数来进行。

最好对各转换的辨识仅作为上述相对于这些转换所指定的那些函数来进行。或者，此辨识也可作为同一词中的至少另一个音素的函数来进行。

在一优选配置中，可对已经辨明的口形产生一指定该形状的命令和各自指定介于由前面和随后命令指定的形状之间的形状的中间命令。

本发明的另一方面提出一用于产生表示具有与口语发声相匹配的有形发音的头部活动图象的信号的设备，具备有：

被配置用于接收对应于发声的相接续部分的一系列发音表述的和与之相应地对第一类型的各语音表述辨明一口形和对由第一类型语音表述到第二类型语音表述的各个转换、对由第二类型的语音表述到第一类型语音表述的各转换和对由第二类型语音表述到第二类型语音表述的各转换辨明口形的装置；和

为生成一系列包含已经辨明形状的图象帧的装置。

现在参照附图举例说明本发明一实施例，所列附图为：

图1为表明实施例部件的功能方框图；

图2表示合成人类头部图象中所采用的“成串帧(wireframe)”的平面、正面和侧面视图；

图3表示合成人类头部图象的口部分中所用的“成串帧”的类似视图；

图4说明在表示说“affluence”时的人类头部的一系列图象的合成中发生的最大元音口形；

图5说明词“affluence”中发生的最大的元音到辅音(和反之)的转换口形；

图6说明词“afflnence”的发音中其余的口形；

图7说明词“affluence”发音中的口形间的转换；

图8为示意说明图象合成单元中为将语音信号翻译成命令信号的单元部件的方框图；

图9为说明此实施例设备的运行的流程图；

图10为说明复合元音和破擦音变换成它们的构成音素的过程的流程图；

图11A-11D说明根据输入音素文件生成中间输出文件的过程；

图12说明根据中间输出文件生成指定最大口形的定时和性质的文件的过程；和

图13A、13B说明生成指定最大口形和中间口形两者的文件的过程。

图1的设备具有以文本形式接收要讲述的单词、和以音频信号形式生成相应的言语并生成为显示带有对应于该同一言语的口的发音的面部运动图象(例如人类的或卡通的)的对应视频信号的功能。在此说明书中将会经常引用口的发音运动，这应被理解为这种发音可能包含口唇、口的内部(如希望的话还包含齿和舌)、上下颚和周围区域的运动。其他运动例如整个头部的运动或转动、眉毛的动作等等也可能包括进来以便使所得到的图象显现得更真实。

来自一被存储的文本文件的或其他所希望的来源的文本以按照任一简便的标准表述(例如ASCⅡ码)的字符代码形式在输入端1接收。接收它的是一种通常结构的言语合成器，但在此被表示作为分开的两个部分，即一将通常的表音法变换成语音表述(例如音素和各自的持续时间)的清单的文本-语音变换器2和将此清单变换成音频波形的言语合成器本身3。任何音素组均可采用，但为了这一说明，假定采用British RP-SAMPA组，它标定如下表1中所列的38个美国英语的独立音素。