[发明专利]大学英语演讲多模态自动评分方法

权利要求书

1.一种大学英语演讲多模态自动评分方法，其特征在于，包括以下步骤：

获取历史演讲数据，其中，所述历史演讲数据包括演讲视频和所述演讲视频对应的人工评分结果，所述人工评分结果包括语言使用评分、言语表达评分、非语言评分和综合评分；

提取所述演讲视频对应的文本特征、音频特征和视频特征，并根据所述文本特征和所述语言使用评分生成第一数据集，根据所述音频特征和所述言语表达评分生成第二数据集，根据所述视频特征和所述非语言评分生成第三数据集；

根据第一数据集进行模型的训练，以得到语言使用评分子模型，并根据第二数据集进行模型的训练，以得到言语表达评分子模型，以及根据第三数据集进行模型的训练，以得到非语言评分子模型；

获取所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果和所述非语言评分子模型的输出结果，并根据所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果、所述非语言评分子模型的输出结果和所述综合评分生成第四数据集；

根据所述第四数据集进行模型的训练，以得到多模态融合学习模型；

获取待评分演讲视频，并提取所述待评分演讲视频对应的文本特征、音频特征和视频特征，以及将所述待评分演讲视频对应的文本特征、音频特征和视频特征分别输入到所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型，以通过所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型输出对应的单项评分；

将所述单项评分输入到所述多模态融合学习模型，以通过所述多模态融合学习模型输出所述待评分演讲视频对应的最终评分结果。

2.如权利要求1所述的大学英语演讲多模态自动评分方法，其特征在于，所述文本特征、音频特征和视频特征均包括时间序列特征和统计特征。

3.如权利要求1所述的大学英语演讲多模态自动评分方法，其特征在于，所述第一数据集包括第一训练集和第一测试集，其中，根据第一数据集进行模型的训练，以得到语言使用评分子模型，包括：

将所述第一训练集中的文本特征和对应的语言使用评分输入到初始LR/RR、RF、SVR模型中；

采用K折交叉验证进行超参数的粗调，并通过网格搜索的方式进行超参数的细调，以得到文本特征对应的LR/RR、RF、SVR模型；

将所述第一测试集分别输入到所述文本特征对应的LR/RR、RF、SVR模型中，以进行性能评估，并根据评估结果确定最终语言使用评分模型。

4.如权利要求3所述的大学英语演讲多模态自动评分方法，其特征在于，将所述第一测试集分别输入到所述文本特征对应的LR/RR、RF、SVR模型中，以进行性能评估，包括：

将所述第一测试集分别输入到所述文本特征对应的LR/RR、RF、SVR模型中，以通过所述文本特征对应的LR/RR、RF、SVR模型输出相应的结果；

根据相应的结果分别计算LR/RR模型、RF模型、SVR模型的评分准确率，并分别计算LR/RR模型、RF模型、SVR模型的平均绝对误差，以便根据所述评分准确率和所述平均绝对误差选择最佳子模型。

5.如权利要求1所述的大学英语演讲多模态自动评分方法，其特征在于，提取所述演讲视频对应的文本特征，包括：

对所述演讲视频进行语音识别，以获取所述演讲视频对应的文本；

对所述文本进行分词，以根据分词结果统计单词数量和句子数量，并通过标注器对文本中的单词进行词性标注，以及通过语法校对算法获取所述文本的语法错误数量；

使用词袋法和语言模型提取文本对应的词向量矩阵，以获取上下文信息。

6.如权利要求1所述的大学英语演讲多模态自动评分方法，其特征在于，所述音频特征包括：短时能量、基频、音强、音节数、语速、停顿率、停顿时长、平均停顿时长、停顿次数、发声时长、平均语流长度和语调。