[发明专利]一种融合人像和语音的屏幕视频生成方法在审
申请号: | 201410337865.7 | 申请日: | 2014-07-16 |
公开(公告)号: | CN104092957A | 公开(公告)日: | 2014-10-08 |
发明(设计)人: | 陆成刚;洪榛;田茂利;杜焕强;俞珊珊;黄蒙 | 申请(专利权)人: | 浙江航天长峰科技发展有限公司 |
主分类号: | H04N5/265 | 分类号: | H04N5/265;G06F9/46 |
代理公司: | 绍兴市越兴专利事务所 33220 | 代理人: | 蒋卫东 |
地址: | 312000 浙江省绍*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 融合 人像 语音 屏幕 视频 生成 方法 | ||
1.一种融合人像和语音的屏幕视频生成方法,其特征在于包括如下步骤:
1)开启图像抓取线程:按照预定帧率时间间隔捕获屏幕图像,然后通过视频编解码库进行编码,最后把视频码流存入视频文件;
2)在开启图像抓取线程的同时启动一个录音线程:抓取音频数据,然后通过音频编解码库进行编码,最后把音频码流写入视频文件;
3)音视频同步以音频为基准,录音线程每向视频文件写入一块音频数据的码流时,根据音频采样频率以及音频数据块录音块长度计算得到该视频文件的绝对时间T,所述绝对时间T即为视频文件播放时从文件开始到当前音频数据段的累计播放时间;
4)基于视频文件的绝对时间T,根据预设的视频帧率参数,计算得到截止到当前时刻的图像帧的数目a,a即为保持同步的帧数的理想值;然后从图像抓取线程里查询得到该线程到目前为止往视频文件写入的图像帧数目b,倘若a<b,则表示目前写入文件的图像帧过多,应在图像抓取线程中暂停往视频文件里写一次图像;倘若a≥b,则图像抓取线程正常执行往视频文中件写入一帧图像码流,实现音频和视频的同步,步骤3)和4)所述的处理过程伴随图像抓取线程和录音线程这两个线程的生命期全程。
5)启动人脸抓取线程:开启摄像头并捕获屏幕正前方的环境图像,对该图像调用人脸检测函数得到用户人脸的包围盒,提取出包围盒内的人脸图像数据;
6)确定步骤5)提取的人脸图像加入到屏幕图像的具体位置,通过替换法或者叠加法将人脸图像数据加入到当前帧屏幕图像中,生成融合了人像和语音的屏幕视频。
2.如权利要求1所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:上述步骤3)
所述的绝对时间T(秒)是通过音频采集来计算的:
T=BlkNum*BlkLen/SR,
其中,BlkLen是每一次抓取的录音数据块的长度,BlkNum是迄今为止抓取录音数据块的次数,SR是音频采样率。
3.如权利要求2所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:上述步骤4)
所述的图像帧的数目a=T/fps,
其中,fps是帧率。
4.如权利要求1所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:步骤5)人脸抓取的时机应该选择在有语音活动的时段,这个机制称为语音驱动的人脸检测,在步骤2)开启录音线程后,同时启动语音活动检测,具体过程为:通过语音活动检测对录音线程中的录音进行检查,当检测到有语音时,则先向人脸抓取线程发出人脸抓取通知,再进行音频编码,如果没有检测到有语音,则直接进行音频编码。
5.如权利要求1所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:上述步骤6)通过固定位置法确定人脸图像加入到屏幕图像的具体位置:选用屏幕的左上、右上、左下、右下四个位置中的其中一个地方加入人脸图像。
6.如权利要求1所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:上述步骤6)通过距离鼠标位置最远法确定人脸图像加入到屏幕图像的具体位置,距离鼠标位置最远法即:在屏幕上取到当前帧鼠标位置最远的点加入人脸图像,在图像抓取线程、录音线程和人脸抓取线程启动的同时,鼠标位置查询线程也随之开启,捕获鼠标或指触点的位置,并把位置实时通知给视频编辑模块。
7.如权利要求1所述的一种融合人像和语音的屏幕视频生成方法,其特征在于:上述步骤6)所述的替换法是用人脸数据取代在屏幕图像对应位置的像素值;叠加法采用加权系数对给定的位置上一对人脸和屏幕数据进行加权求和,用和值替换该位置上的屏幕图像的数据,加权系数通常被称为阿尔法透明系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江航天长峰科技发展有限公司,未经浙江航天长峰科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410337865.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电视换台控制方法及系统
- 下一篇:处理图像的方法及装置