[发明专利]多媒体数据处理方法、装置、电子设备及可读存储介质

权利要求书

1.一种多媒体数据处理方法，包括：

获取待处理的多媒体数据的至少两个模态数据；所述至少两个模态数据包括文本模态数据、音频模态数据和图像模态数据中的至少两个；

对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据的数据片段；

对所述至少两个模态数据的数据片段进行融合处理，以获得所述多媒体数据的至少两个多媒体片段。

2.根据权利要求1所述的方法，其中，所述对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据的数据片段，包括：

根据所述至少两个模态数据，分别确定特定特征对象在所述至少两个模态数据中出现的位置；

根据所述位置，对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据中各模态数据的至少两个数据片段。

3.根据权利要求2所述的方法，其中，所述根据所述至少两个模态数据，分别确定特定特征对象在所述至少两个模态数据中出现的位置，包括：

针对文本模态数据，识别特定文本类型的文本信息，以作为所述特定特征对象；

确定所述特定特征对象在所获取的文本模态数据中出现的位置。

4.根据权利要求3所述的方法，其中，所述对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据的数据片段，还包括：

基于所述文本模态数据的至少两个数据片段的语义特征，将所述文本模态数据的至少两个数据片段中语义相似的数据片段进行合并处理。

5.根据权利要求2所述的方法，其中，所述根据所述至少两个模态数据，分别确定特定特征对象在所述至少两个模态数据中出现的位置，包括：

针对音频模态数据，识别声纹特征，以作为所述特定特征对象；

确定所述特定特征对象在所获取的音频模态数据中出现的位置。

6.根据权利要求2所述的方法，其中，所述根据所述至少两个模态数据，分别确定特定特征对象在所述至少两个模态数据中出现的位置，包括：

针对图像模态数据，识别镜头切换信息、场景信息和人脸信息中的至少一个，以作为所述特定特征对象；

确定所述特定特征对象在所获取的图像模态数据中出现的位置。

7.根据权利要求6所述的方法，其中，所述对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据的数据片段，还包括：

基于所述图像模态数据的至少两个数据片段的语义特征，对所述图像模态数据的至少两个数据片段中语义相似的数据片段进行合并处理。

8.根据权利要求2-7中任一项所述的方法，其中，所述根据所述位置，对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据中各模态数据的至少两个数据片段之后，还包括：

利用不同模态数据的至少两个数据片段，对所述各模态数据的至少两个数据片段进行校准处理，以调整所述各模态数据的至少两个数据片段。

9.一种多媒体数据处理装置，包括：

获取单元，用于获取待处理的多媒体数据的至少两个模态数据；所述至少两个模态数据包括文本模态数据、音频模态数据和图像模态数据中的至少两个；

分段单元，用于对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据的数据片段；

融合单元，用于对所述至少两个模态数据的数据片段进行融合处理，以获得所述多媒体数据的至少两个多媒体片段。

10.根据权利要求9所述的装置，其中，所述分段单元，具体用于

根据所述至少两个模态数据，分别确定特定特征对象在所述至少两个模态数据中出现的位置；以及

根据所述位置，对所述至少两个模态数据进行切分处理，以获得所述至少两个模态数据中各模态数据的至少两个数据片段。