[发明专利]视频声音转文本的方法及相关设备

说明书

本申请的实施例提供了一种视频声音转文本的方法及相关设备。该方法在屏幕上显示用于播放视频的应用的用户界面。该方法响应用户的操作录制所述用户界面同时录制系统声音获得所录制的视频及与所录制的视频对应的音频数据。通过将与所录制的视频对应的音频数据转化为文本，并投影所录制的视频并输出对应的文本，同时播放与所录制的视频对应的音频数据，实现视频声音转文本的功能。利用本实施例可使得声音和视频画面以及字幕文本能够同步，提升用户视频观看体验。

技术领域

本申请实施例涉及终端技术领域，尤其涉及一种视频声音转文本的方法及相关设备。

背景技术

现在很多设备都支持录制设备内声音，通过语音识别技术，把音频数据转写成文本，并立即显示在屏幕上，达到实时生成并显示字幕的效果。然而，由于模型推理有不可忽略的时延，通常显示的字幕和原音轨会有比较明显的时差，也即字幕领域常说的时间轴没有对齐。因此，用户实际观看的实时字幕会有明显滞后，导致用户体验较差。

发明内容

本申请实施例公开了一种视频声音转文本的方法及相关设备，可使得声音和视频画面以及字幕文本能够同步，提升用户视频观看体验。

本申请第一方面公开了一种视频声音转文本的方法，包括：在电子设备的第一屏幕上显示应用的用户界面，所述用户界面包括视频播放区域，所述视频播放区域播放视频；响应用户开启实时字幕功能的操作信号，录制所述用户界面同时录制系统声音获得所录制的视频以及与所录制的视频对应的音频数据；将与所录制的视频对应的音频数据转化为文本；及投影所录制的视频并输出对应的文本，同时播放与所录制的视频对应的音频数据。

采用所述技术方案，通过同时录制用户界面和系统声音，并在投影所录制的画面的同时播放所录制的声音及输出对应的字幕，使得所播放的画面和声音及所输出的字幕同步，提升用户视频观看体验。

在一些可选的实施方式中，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；对所述第一屏幕的全屏画面进行录制获得所录制的全屏画面；及根据所述小窗的大小和位置对所录制的全屏画面进行裁剪，从而获得所述小窗的画面内容，将所获得的所述小窗的画面内容作为所录制的视频。采用所述技术方案，可以实现对视频画面准确的录制。

在一些可选的实施方式中，所述响应用户开启实时字幕功能的操作信号，录制所述用户界面包括：响应所述操作信号，将所述用户界面缩小为一个小窗，并将所述小窗移动到所述第一屏幕的第一指定位置；及对所述小窗的画面内容进行录制，获得所录制的视频。采用所述技术方案，无需对所录制的视频画面进行裁剪，缩短了视频录制时间。

在一些可选的实施方式中，该方法于第一时间点t1开始录制所述用户界面同时录制系统声音。

在一些可选的实施方式中，所述第一时间点t1为用户开启所述实时字幕功能的时间。采用所述技术方案，于用户开启实时字幕功能时即开始录制用户界面，及时响应用户的需求，进一步提升用户的观看体验。

在一些可选的实施方式中，该方法还包括：于所述第一时间点t1关闭电子设备的扬声器。采用所述技术方案，使得所述视频播放区域所播放的视频的声音不能外放，避免给用户造成观看干扰。

在一些可选的实施方式中，当所述小窗移动所述第一指定位置时，所述小窗展示所述用户界面的完整内容；或者仅展示所述视频播放区域的内容。

在一些可选的实施方式中，所述将与所录制的视频对应的音频数据转化为文本包括：将与所录制的视频对应的音频数据上传到服务器，其中，所述服务器将与所录制的视频对应的音频数据转化为文本，并将转化获得的文本发送给所述电子设备；及接收所述服务器发送过来的文本。采用所述技术方案，由服务器完成音频转译字幕文本的步骤，由于服务器的算力和文本转化模型都比电子设备要大要强，因此可以进一步提升音频转译字幕文本的质量。