[发明专利]大学英语演讲多模态自动评分方法

说明书

本发明提出了一种大学英语演讲多模态自动评分方法、介质及设备，其中方法包括：获取历史演讲数据；提取文本特征、音频特征和视频特征，并进行模型的训练，以得到语言使用评分子模型、言语表达评分子模型和非语言评分子模型；根据三个子模型的输出和综合评分生成第四数据集；进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取对应的文本特征、音频特征和视频特征，以及通过三个子模型输出对应的单项评分；将单项评分输入到多模态融合学习模型，以通过多模态融合学习模型输出待评分演讲视频对应的最终评分结果；能够对英语演讲进行多模态评分，提高评分准确性、评分效率；同时，降低英语演讲评分所需成本。

技术领域

本发明涉及深度学习技术领域，特别涉及一种大学英语演讲多模态自动评分方法。

背景技术

大学英语演讲是一项以多模态为特征的交际活动。在演讲过程中，需要演讲者使用言语模态和非言语模态进行相互配合。

相关技术中，在对英语演讲进行评分时，多只是从单模态出发或者直接人工评分。其中，单模态评分例如：对演讲过程的语音进行提取，进而，根据语音进行演讲的评分；或者，获取演讲文本，并对演讲文本进行评分。然而，这些方式的评分方式过于单一，导致最终评分结果不准确。而人工评分往往容易受主观影响，导致评分结果不稳定；并且，人工评分需要浪费人员大量的时间和精力，成本较高。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种大学英语演讲多模态自动评分方法，能够对英语演讲进行多模态评分，提高评分准确性、评分效率；同时，降低英语演讲评分所需成本。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

为达到上述目的，本发明第一方面实施例提出了一种大学英语演讲多模态自动评分方法，包括以下步骤：获取历史演讲数据，其中，所述历史演讲数据包括演讲视频和所述演讲视频对应的人工评分结果，所述人工评分结果包括语言使用评分、言语表达评分、非语言评分和综合评分；提取所述演讲视频对应的文本特征、音频特征和视频特征，并根据所述文本特征和所述语言使用评分生成第一数据集，根据所述音频特征和所述言语表达评分生成第二数据集，根据所述视频特征和所述非语言评分生成第三数据集；根据第一数据集进行模型的训练，以得到语言使用评分子模型，并根据第二数据集进行模型的训练，以得到言语表达评分子模型，以及根据第三数据集进行模型的训练，以得到非语言评分子模型；获取所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果和所述非语言评分子模型的输出结果，并根据所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果、所述非语言评分子模型的输出结果和所述综合评分生成第四数据集；根据所述第四数据集进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取所述待评分演讲视频对应的文本特征、音频特征和视频特征，以及将所述待评分演讲视频对应的文本特征、音频特征和视频特征分别输入到所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型，以通过所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型输出对应的单项评分；将所述单项评分输入到所述多模态融合学习模型，以通过所述多模态融合学习模型输出所述待评分演讲视频对应的最终评分结果。