[发明专利]一种视频会议重要内容提示及转写存储的方法及系统

说明书

本发明公开一种视频会议重要内容提示及转写存储的方法。发言者在讲解重要内容时可在本地客户端发出重要内容提示指令，该指令可触发提示事件，在所有会议成员客户端的视频会话框中提示为重要内容。重要内容提示指令和音频流通过数据通道传输到服务器。服务器对音频流转写，将输出文本返回给会议成员客户端，客户端将文本以字幕形式实时显示在视频会话框中。服务器根据重要内容提示指令对重要内容转写出的文本进行区别处理，然后以会议记录格式生成文本文件保存在服务器。本发明给出重要内容提示可以让会议成员更容易捕捉重要内容；对重要内容作区别处理，方便会议成员会后查看会议重要内容；添加字幕，使得听力方面存在障碍的人员也可以参加会议。

技术领域

本发明涉及WebRTC实时视频通话技术领域，尤其是一种基于WebRTC视频会议重要内容提示及转写存储的方法及系统。

背景技术

WebRTC，网页即时通讯(Web Real-Time Communication)是一个支持网页浏览器进行实时语音对话或视频对话的API。其主要目的是实现基于网页的视频会议，让Web开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现。WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：Windows，Linux，Mac，Android，以及iOS。

发明内容：

本发明针对在视频会议中强调发言内容为重要内容，提出一种重要内容提示及转写存储的方法及系统，目的在于让参会人员快速准确捕捉会议重要内容，以免错过重要内容。

本发明为实现上述目的采用如下技术方案：一种视频会议重要内容提示及转写存储的方法，包括：

会议发起者的客户端使能本地的会议管理模块，录入会议的相关描述信息并发送至服务器，同时向服务器发起建立会议房间请求；

会议发起者的客户端发起会议邀请请求，邀请其他会议成员加入会议房间，所有会议成员客户端间建立连接；

客户端调用WebRTC音视频流采集模块采集音视频流并输出至服务器；服务器调用中继混流模块实时处理其接收的音视频流，对接收到的音频流进行语音转写文字处理形成会议内容信息，发送回所有客户端以及存储至会议记录中；

所有客户端和服务器实时检查每条会议内容信息中是否携带重要内容提示指令，若有则服务器将该条会议内容信息进行标记处理并指示参与者客户端在本地视频会话框中进行提示，以及服务器将该标记处理的会议内容信息存储至会议记录中。

还包括：客户端向服务器发送会议记录请求，接收服务器的会议记录文件生成模块返回的会议记录；会议记录包括：会议的相关描述信息、发言者姓名及其发言内容。

所述会议相关描述信息包括会议主题、会议时间、会议参与人员、会议参与人员姓名和其所用设备ID绑定情况。

所述中继混流模块将服务器接收的多路音视频流进行混流处理成一路音视频流再发送。

所述语音转写文字处理包括：服务器调用语音转写文字处理模块将接收到音频流进行语音识别、语义理解及校正处理形成输出文本，该输出文本用于会议内容信息。

所有客户端和服务器实时检查每条会议内容信息中是否携带重要内容提示指令，若有则服务器将该条会议内容信息进行标记处理并指示客户端在本地视频会话框中进行提示，包括：

当发言者向其客户端输入重要内容提示指令时，发言者客户端使能发出重要内容提示指令模块触发重要内容提示事件并输出给服务器；