[发明专利]基于视觉设备的语言学习方法及系统

权利要求书

1.一种基于视觉设备的语言学习方法，其特征在于，所述语言学习方法包括：

基于教材内容和对应的视频素材，制作所述教材内容对应的教材视频；

将所述教材视频集成在具备语音交互功能的视觉设备上，供用户通过观看所述视觉设备播放的所述教材视频进行语言学习；

接收用户发出的语音内容，对所述语音内容进行语音识别；根据识别结果，进入语音识别纠错模式，或者进入智能交互式对话模式。

2.如权利要求1所述的语音学习方法，其特征在于，所述根据识别结果，进入语音识别纠错模式包括：

识别出用户发音错误时，提示用户发音错误并提示用户重新录入正确的发音；或者，播放错误发音所对应的正确发音，供用户学习；或者，提供多种回应方式供用户选择；

识别出用户发音正确时，回应用户发出的所述语音内容，并进入下一学习内容。

3.如权利要求1所述的语音学习方法，其特征在于，所述根据识别结果，进入智能交互式对话模式包括：

识别出用户的语音内容为基于预设场景的内容，则检索语音对话数据库，回应用户发出的所述语音内容；

识别出用户发音错误时，提供多种回应方式供用户选择，直至用户发音正确并进入下一对话。

4.如权利要求1或2或3所述的语音学习方法，其特征在于，所述基于教材内容和对应的视频素材，制作所述教材内容对应的教材视频，包括：

对视频素材中的场景性片段进行标注，根据标注信息得到场景视频对应的数据库；其中，所述标注信息包括：场景性片段在所述视频素材中的位置以及所述场景性片段对应的场景特征；

确定语言教材中的一段对话内容所对应的应用场景，根据确定的所述应用场景，从所述数据库中查找所述应用场景对应的视频片段；

按照所述对话内容的内容特征信息，将查找到的所述视频片段制作成与所述对话内容相一致的教学视频。

5.如权利要求1或2或3所述的语音学习方法，其特征在于，所述基于教材内容和对应的视频素材，制作所述教材内容对应的教材视频，包括：

对视频素材中对应一个场景的视频帧进行标注，根据标注信息得到视频帧对应的数据库；

确定语言教材中的一段对话内容所对应的应用场景，根据确定的所述应用场景，从所述场景视频数据库中查找所述应用场景对应的视频帧；

按照所述对话内容的发音特征信息，将查找到的所述视频帧改编为与所述对话内容相一致的教学视频。

6.一种基于视觉设备的语言学习系统，其特征在于，所述语言学习系统包括：

视频制作模块，用于基于教材内容和对应的视频素材，制作所述教材内容对应的教材视频；

视频集成模块，用于将所述教材视频集成在具备语音交互功能的视觉设备上，供用户通过观看所述视觉设备播放的所述教材视频进行语言学习；

视频交互模块，用于接收用户发出的语音内容，对所述语音内容进行语音识别；根据识别结果，进入语音识别纠错模式，或者进入智能交互式对话模式。

7.如权利要求6所述的语音学习系统，其特征在于，所述视频交互模块还用于：

识别出用户发音错误时，提示用户发音错误并提示用户重新录入正确的发音；或者，播放错误发音所对应的正确发音，供用户学习；或者，提供多种回应方式供用户选择；

识别出用户发音正确时，回应用户发出的所述语音内容，并进入下一学习内容。

8.如权利要求6所述的语音学习系统，其特征在于，所述视频交互模块还用于：

识别出用户的语音内容为基于预设场景的内容，则检索语音对话数据库，回应用户发出的所述语音内容；

识别出用户发音错误时，提供多种回应方式供用户选择，直至用户发音正确并进入下一对话。

9.如权利要求6或7或8所述的语音学习系统，其特征在于，所述视频制作模块包括：

场景标注单元，用于对视频素材中的场景性片段进行标注，根据标注信息得到场景视频对应的数据库；其中，所述标注信息包括：场景性片段在所述视频素材中的位置以及所述场景性片段对应的场景特征；

片段查找单元，用于确定语言教材中的一段对话内容所对应的应用场景，根据确定的所述应用场景，从所述数据库中查找所述应用场景对应的视频片段；

片段制作单元，用于按照所述对话内容的内容特征信息，将查找到的所述视频片段制作成与所述对话内容相一致的教学视频。

10.如权利要求6或7或8所述的语音学习系统，其特征在于，所述视频制作模块包括：

帧标注单元，用于对视频素材中对应一个场景的视频帧进行标注，根据标注信息得到视频帧对应的数据库；

帧查找单元，用于确定语言教材中的一段对话内容所对应的应用场景，根据确定的所述应用场景，从所述场景视频数据库中查找所述应用场景对应的视频帧；

帧制作单元，用于按照所述对话内容的发音特征信息，将查找到的所述视频帧制作成与所述对话内容相一致的教学视频。