[发明专利]基于H.324M协议的3G视频电话的音视频同步测试装置及方法

权利要求书

1.基于H.324M协议的视频电话的音视频同步测试方法，其特征在于： 本方法设计两个二维关系型主从表，用于记录各项数据和关联；主表为视 频帧信息表，包括的字段有视频帧编号、视频帧发送时间点、视频帧接收 时间点、视频帧延时，其中视频帧编号为主关键字；从表为音频帧信息表， 包括音频帧编号、音频帧发送时间点、音频帧接收时间点、音频帧延时、 该音频帧所对应的视频帧编号，其中音频帧编号是主关键字，而对应的视 频帧编号则是外键，用于关联到主表；由于一个视频帧对应多个音频帧， 所有主表中的一条记录将对应从表中的多条记录；设计一个语音视频同步 偏离表，来计算每个视频帧的音视频同步偏离情况，语音视频同步偏离表 是一个二维关系表，包含的字段有视频帧编号、视频帧接收完成标识、对 应的音频帧接收完成标识、音视频同步偏离值、音视频是否同步、网络信 号平均强度；具体按以下步骤进行：

(1)、无线网络优化人员首先需要通过测试控制模块进行H.324M协议 栈参数配置，根据媒体信道打开的时间间隔为协议栈的音视频同步参数 skew设置一个经验值，参数配置包括视频信道速率、音频信道速率、音视 频发送初始延时skew、音视频压缩格式、样本媒体文件路径、适配层选择 AL2；

(2)、测试控制模块读取媒体样本文件；

(3)、媒体编解码模块解码媒体样本文件的音视频数据成为原始的视频 流和语音流，然后再将原始的视频流按用户指定的参数编码成为H.324M协 议规定的视频格式而得到视频编码帧，同时也将原始的音频流按指定参数 编码成为H.324M协议规定的音频格式而得到音频编码帧；

(4)、视频电话通信模块从编码器中获取一个视频编码帧和音频编码 帧；

(5)、当视频电话通信模块在发送端提交一个完整视频帧给H.324M协 议栈时，音视频同步测试模块记录下该视频帧的编号和时间点，发送第一 个视频帧的编号为0，后续每发一个视频帧编号加1；发送第一个视频帧的 时间点取值为精确到毫秒级的当前系统时间，发送第二个视频帧的时间点 按T₁＝T₀+K₀/S计算得到，T₁是发送第二个视频帧的时间点，T₀是发送第 一个视频帧的时间点，第一个视频帧大小为K₀字节，视频逻辑通道速率为 每秒S字节，后续各帧的发送时间点依此类推；发送当前帧的时间点为Tc， 则下一帧发送的时间点为Tn＝Tc+K/S，视频逻辑通道速率为每秒S字节， 当前视频帧的大小为K字节；同时将在视频信息表中增加一条记录，记录 当前发送的视频帧的编号和发送时间点；

(6)、当视频电话通信模块在发送端提交一个音频帧给H.324M协议栈 时，音视频同步测试模块记录下该音频帧的编号和时间点，发送第一个音 频帧的编号为0，后续每发一个音频帧的编号加1；发送第一个音频帧的时 间点取值为精确到毫秒级的当前系统时间，每隔20ms的固定间隔发送下一 个音频帧，则发送第二个音频帧的时间点为，t₁＝t₀+20，t₀是第一个音 频帧发送时间点；

(7)、当视频电话通信模块在接收端从H.324M协议栈获取到一个视频 帧时，音视频同步测试模块要从H.324M协议栈中的AL2适配单元中提取出 当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出 现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时 间作为接收视频帧的时间点；

(8)、当视频电话通信模块在接收端从H.324M协议栈获取到一个音频 帧时，音视频同步测试模块要从H.324M协议栈中的AL2适配单元中提取出 当前帧的编号，该编号从0开始，如果有掉帧情况发生，按AL2协议将出 现编号不连续情况，记录下帧号的同时也记录精确到毫秒级的当前系统时 间作为接收音频帧的时间点；

(9)、当视频电话通信模块发送一个视频帧时，音视频同步测试模块记 录了该视频帧的发送时间点和编号，在视频电话通信模块接收该编号的视 频帧时，音视频同步测试模块也记录了接收时间点，那么从发送时间点到 接收时间点这段时间就是视频帧延时，对于所有发送时间点在视频帧延时 的时间段内的音频帧都是与该视频帧对应的音频帧，音视频同步测试模块 204将记录下音频帧与视频帧之间的对应关系，这种对应关系可以用对应 的音频帧编号关联该视频帧编号来实现；

(10)、在视频电话通信模块发送一个视频帧时，音视频同步测试模块 204将通过数据表维护模块向视频帧信息表新增一条记录，在该记录中填 写该视频帧的编号、发送时间点；当视频电话通信模块接收到一个视频帧 的时候，音视频同步测试模块利用从H.324M协议栈的AL2适配单元中取得 的帧编号，通过数据表维护模块207查找视频帧信息表，定位到该编号的 记录项，并填入接收时间点，同时使用接收时间点减去发送时间点得到视 频帧延时填入该记录中；

(11)、在视频电话通信模块发送一个音频帧时，音视频同步测试模块 将通过数据表维护模块向音频帧信息表新增一条记录，在该记录中填写该 音频帧的编号、发送时间点；同时使用音频发送时间点查询视频帧信息表 中的对应记录，查询方法为：用当前音频帧发送时间点减去每一个视频帧发 送时间点所得的差值中的最小正值所对应的视频帧记录，即在当前音频帧 发送时间点之前最近的那一个时间点的视频帧，将查询到的视频帧记录的 视频帧编号填入音频帧信息表中该音频帧记录的“所对应的视频帧编号” 字段；当视频电话通信模块接收到一个音频帧的时候，音视频同步测试模 块利用从H.324M协议栈的AL2适配帧中取得的帧编号，通过数据表维护模 块查找音频帧信息表，定位到该编号的记录项，并填入接收时间点，同时 使用接收时间点减去发送时间点得到音频帧延时填入记录中；

(12)、当视频电话通信模块接收到一个视频帧时，由于H.324M是基于 稳定有序的电路交换域的，那么上一个视频帧要么顺利接收完成，要么传 输中发生掉帧现象，这两种情况我们都认为是上一个视频帧已经接收完成 了；设上一个视频帧编号为n，音视频同步测试模块将通过数据表维护模 块用视频帧编号n查询语音视频同步偏离表，如果不存在该编号的记录则 新增一条记录，此时表明第n帧视频帧所对应的音频帧还没有全部接收完 成，如果语音视频同步偏离表中存在该记录就定位到该记录，此时表明第 n帧视频帧所对应的音频帧已经全部接收完成，那么将该记录的“视频帧 接收完成标识”字段置为完成状态；然后检查“对应的音频帧接收完成标 识”是否被置为完成状态，如果视频和音频的接收完成标识都记录为“完 成”状态，则开始计算音频视频同步偏离值；

(13)、当视频电话通信模块接收到一个音频帧时，音视频同步测试模 块将通过数据表维护模块用接收的音频帧编号定位到音频帧信息表中的音 频帧记录，然后找到该记录的上一条记录，如果上一条记录的“所对应的 视频帧编号”为n与当前接收的音频帧记录的“所对应的视频帧编号”不 同，则说明接收端已经完成第n个视频帧所对应的所有音频帧的接收，此 时会用上一个音频帧所对应的视频帧编号n来查询语音视频同步偏离表， 如果不存在该编号的记录则新增一条记录，这种情况表明第n帧视频帧还 没有接收完成；如果存在就定位到该记录，这种情况表明第n帧视频帧已 经接收到，将该记录的“对应的音频帧接收完成标识”字段置为完成状态； 然后检查“视频帧接收完成标识”是否被置为完成状态，如果视频和音频 的接收完成标识都记录为“完成”状态，则开始计算音频视频同步偏离值；

(14)、计算音频视频同步偏离值：在(12)或(13)中如果发现音视频接 收完成标志都被置为了“完成”，音视频同步测试模块就开始计算音视频 同步偏离值；首先使用语音视频同步偏离表中的视频帧编号查询视频帧信 息表，设视频帧编号为n，定位到视频帧信息表的对应记录，取出视频帧 延时V，如果该字段没有被赋值，则表示该视频帧在传输过程中丢失，此 时肯定出现音频超前的不同步状态，直接给音视频同步偏离值SD赋值为- 20ms；如果视频延时值存在则再使用视频帧编号n查询音频帧信息表，找 出所有“所对应的视频帧编号”为n的音频帧记录，对这些音频帧的延时 进行累加求和∑At，如果有音频帧的延时没有赋值，则表明该音频帧丢失， 音频滞后的不同步状态发生，直接给音视频同步偏离值SD赋值为50ms； 如果音视频的延时值都存在则利用语音视频同步的偏离(SD)定义的公式SD ＝∑At-V计算出同步偏离值；如果SD＜-15ms，或SD＞45ms，表明不 同步状态发生，置“音视频是否同步”字段为“不同步”，否则为“同步”； 利用路测软件接口模块求出发送第n个视频帧到第n+1个视频帧这段时间 内的网络信号强度的算术平均值填入“网络信号平均强度”字段，如此就 将信号强度与同步偏离关联起来；

(15)、发送端的样本文件在测试过程中会循环发送，当完成一次样本 文件的收发后，音视频同步测试模块将计算平均语音视频同步绝对偏离 (MASD)，用平均语音视频同步绝对偏离(MASD)定义的公式，MASD＝∑ASD/ N＝∑|∑At-Vn|/N，其中Vn表示第n个视频帧的延时，n＝1，2，... N，N表示视频帧数量，∑|∑At-Vn|表示N个视频帧的语音视频同步绝 对偏离值之和，ASD为语音视频同步的绝对偏离；对语音视频同步偏离表 中本次发送的样本文件的每一帧的同步偏离值的绝对值进行算术平均；事 后对接收的降级后的样本文件进行主观平均意见得分(MOS)评估，也就组 织不同年龄段的人员组直接观看接收的音视频并给出其同步情况的主观听 视觉评分，再将MASD值使用线性回归方法映射到该主观评分上，就可以得 出语音视频同步的客观评估MOS值；

(16)、测试结果显示模块在用户界面上将实时地绘制出每个视频帧的 音视频同步偏离值SD的波形图，同时将绘制网络信号强度值的波形图，让 用户直观地看出信号强度变化对语音视频同步的影响；并且实时给出不同 步的帧与总帧数的百分比。