[发明专利]旁白添加方法、旁白添加装置及存储介质

权利要求书

1.一种旁白添加方法，其特征在于，所述方法包括：

获取视频流，并实时抽取所述视频流中包括的视频帧图像；

将实时抽取到的视频帧图像输入预设对象检测模型，通过所述对象检测模型检测所述视频帧图像中存在的对象，所述对象包括视频帧图像中的物体或人物；

将各对象的对象向量输入预设的旁白生成模型，以生成所述视频帧图像的旁白；

将生成的旁白关联至所述视频帧图像中；

所述旁白生成模型采用如下方式训练得到：

收集视频样本文件以及与视频样本文件对应的旁白文件；

根据旁白文件中的时间戳信息，截取与旁白同一时间的视频帧图像，得到视频帧图像样本；

将同一时间的视频帧图像样本和旁白相关联，得到与视频帧图像样本关联的旁白；

将视频帧图像样本输入所述对象检测模型，根据所述对象检测模型检测得到的视频帧图像样本中对象的对象向量；

将视频帧图像样本、与视频帧图像样本关联的旁白，以及视频帧图像样本中对象的对象向量作为第一训练数据集，通过所述第一训练数据集，训练得到所述旁白生成模型。

2.根据权利要求1所述的旁白添加方法，其特征在于，通过所述第一训练数据集训练得到所述旁白生成模型，包括：

将所述视频帧图像样本中对象的对象向量输入序列到序列模型，通过所述序列到序列模型，对所述视频帧图像样本中对象的对象向量进行预测，得到预测旁白；

基于损失函数调节所述序列到序列模型，直到通过所述序列到序列模型预测的旁白与所述视频帧图像样本关联的旁白达到预设相似度，得到满足损失值的旁白生成模型。

3.根据权利要求1所述的旁白添加方法，其特征在于，所述对象检测模型采用如下方式训练得到：

调用第二数据集，所述第二数据集包括图像样本以及图像样本中对象所处的位置区域；

基于所述第二数据集，训练得到所述对象检测模型。

4.一种旁白添加装置，其特征在于，所述装置包括：

获取单元，被配置为获取视频流，并实时抽取所述视频流中包括的视频帧图像；

检测单元，被配置为将实时抽取到的视频帧图像输入预设对象检测模型，通过所述对象检测模型检测所述视频帧图像中存在的对象，所述对象包括视频帧图像中的物体或人物；

生成单元，被配置为将各对象的对象向量输入预设的旁白生成模型，以生成所述视频帧图像的旁白；

关联单元，被配置为将生成的旁白关联至所述视频帧图像中；

训练单元：收集视频样本文件以及与视频样本文件对应的旁白文件，根据旁白文件中的时间戳信息，截取与旁白同一时间的视频帧图像，得到视频帧图像样本，将同一时间的视频帧图像样本和旁白相关联，得到与视频帧图像样本关联的旁白，将视频帧图像样本输入所述对象检测模型，根据所述对象检测模型检测得到的视频帧图像样本中对象的对象向量，将视频帧图像样本、与视频帧图像样本关联的旁白，以及视频帧图像样本中对象的对象向量作为第一数据集，通过所述第一数据集，训练得到所述旁白生成模型。

5.根据权利要求4所述的旁白添加装置，其特征在于，所述训练单元采用如下方式通过所述第一数据集训练得到所述旁白生成模型：

将所述视频帧图像样本中对象的对象向量输入序列到序列模型，通过所述序列到序列模型，对所述视频帧图像样本中对象的对象向量进行预测，得到预测旁白；

基于损失函数调节所述序列到序列模型，直到通过所述序列到序列模型预测的旁白与所述视频帧图像样本关联的旁白达到预设相似度，得到满足损失值的旁白生成模型。

6.根据权利要求4所述的旁白添加装置，其特征在于，所述装置还包括训练单元；

所述训练单元采用如下方式训练得到所述对象检测模型：

调用第二数据集，所述第二数据集包括图像样本以及图像样本中对象所处的位置区域；

基于所述第二数据集，训练得到所述对象检测模型。