[发明专利]一种基于视频SEI消息的多媒体录播课互动方法

说明书

本发明公开了一种基于视频SEI消息的多媒体录播课互动方法，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。通过该技术的实施，可以实现教学与练习的有机结合，增强录播课堂的氛围感，提升学生注意力，最终提高教学效果。同时H.264编码中包含的SEI信息可通过流媒体方式同步传输，实现更多场景的教学与互动的准确同步，使基于本技术开展的录播课形态不再仅限于观看录像这一单一形态，包括流媒体直播、视频自由分组分段播放等多种形态都成为可能。

技术领域

本发明涉及数字化教学场景中的音视频处理技术领域，更具体为一种基于视频SEI消息的多媒体录播课互动方法。

背景技术

在数字化教学场景中，录播课教学主要是通过对老师的上课内容进行前期录制与后期加工等步骤，制作针对某一领域知识的一系列教授课程的视频内容，而学生通过对该视频的观看来实现学习的一种授课形态。录播课由于具有一次制作多次使用、课程成本低廉、学生学习时间灵活等特点，一直被广泛用于各种学科与年龄段学生的教学过程中。

同时随着数字化教学内容的发展，当前教学场景中的数字化互动元素也越来越多。从讲课的课件到课后作业，从手指点击到语音识别，甚至基于视频语义识别能力的互动都更加频繁的出现在教学的互动场景。自然的，将录播课与更加丰富的数字化教学互动结合的技术也开始获得发展的机会。

另一方面随着互联网技术的发展，基于H.264编码的视频处理技术也越来越成熟，支持该技术的软硬件设备成几何倍的增加。对应点播与直播播放技术更加成熟，而内容制作也随着更多工具的发展变的更易制作。

H.264编码能力能提供流畅连续的高质量图像，容错能力强。同时H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具，网络适应性强。H.264由视频编码层面(Video Coding Layer，简称VCL)和网络抽象层面(Network Abstraction Layer，简称NAL)构成，在NAL层提供了诸如IDR图像、序列参数集(SPS)、图像参数集(PPS)、补充增强信息(SEI)等多种类型的单元。其中的SEI消息作为补充增强信息，提供了自定义Payload传输的能力，通过该Payload的自定义可以实现在普通播放之外其他信息的有效补充。

本发明技术旨在引入多种教学互动丰富录播课的课程内容，提升学习的临场氛围，提高学生的上课注意力。而通过SEI消息的引入，保证互动时机与录播互动课配合的强一致性。最终实现综合提升学生学习效果的目标。

现有技术中，将视频播放与教学交互分开独立处理的方案，在教学与交互两个部分实际上是相互割裂的。因此它有着体验差、上课中的教与练无法有机结合的缺点。

而对于按照预设视频播放时间触发互动的处理方案，其交互的时机需要对视频播放时间进行监控，对于视频播放卡顿造成的播放速度变化比较敏感，同时由于所有的互动均是按照一个预设的时间进行的触发，它也无法将录播资源通过流媒体的方式实现对外的不限时间的直播形态，灵活性较差。为此，需要设计一个新的方案给予改进。

发明内容

本发明的目的在于提供一种基于视频SEI消息的多媒体录播课互动方法，解决了背景技术中所提出的问题，满足实际使用需求。

为实现上述目的，本发明提供如下技术方案：一种基于视频SEI消息的多媒体录播课互动方法，在H.264解码中将课程互动信息通过SEI消息的方式同步编码进教学视频中，课程播放时通过对该消息的解析，触发互动模块加载对应互动素材提供课中的交互体验。

作为本发明的一种优选实施方式，所述方法包括如下步骤：

S1：设计制定互动素材协议

互动素材为课程进行到一定阶段时，由互动模块加载呈现的交互内容的原始素材，包含这几种类型：