[发明专利]一种数据处理方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种数据处理方法、装置、计算机设备及存储介质，可应用于人工智能场景，包括：从多媒体数据的视频帧中获取图片特征信息；图片特征信息用于指示视频帧中的角色图片所属的M个业务对象；确定多媒体数据中的N个对象音频帧分别对应的音频语义特征向量，对每个对象音频帧对应的音频语义特征向量进行聚类处理，得到M个音频聚类簇；N个对象音频帧是对多媒体数据中的原始音频帧进行对象定位剥离处理后所得到的；基于图片特征信息、M个音频聚类簇以及与多媒体数据相关联的对象角色映射表，识别P个音频聚类簇中的每个音频聚类簇分别对应的业务角色。采用本申请实施例，可以提高音频角色识别的精确度、效率以及适用性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

目前的角色识别方案在多媒体数据(例如，影视剧)上架前，需要人工参与角色识别，即需要花费大量的时间和精力，对该影视剧中的台词角色进行一定数量的人工标注，例如，人工确定该影视剧中出现的业务角色的数量，并对每一句语音台词进行标注，这将极大的降低了识别的效率。此外，人工参与角色识别主要依赖于标注人员的听觉感应，若同一多媒体数据中存在相似音色，则容易导致识别错误的情况，以至于降低了角色识别的精确度。

发明内容

本申请实施例提供一种数据处理方法、装置、计算机设备及存储介质，可以提高音频角色识别的精确度、效率以及适用性。

本申请实施例一方面提供一种数据处理方法，包括：

从多媒体数据的视频帧中获取图片特征信息；图片特征信息用于指示视频帧中的角色图片所属的M个业务对象；M为正整数；

确定多媒体数据中的N个对象音频帧分别对应的音频语义特征向量，对每个对象音频帧对应的音频语义特征向量进行聚类处理，得到M个音频聚类簇；N个对象音频帧是对多媒体数据中的原始音频帧进行对象定位剥离处理后所得到的；N为正整数；一个音频聚类簇对应一个业务对象；

基于图片特征信息、M个音频聚类簇以及与多媒体数据相关联的对象角色映射表，识别P个音频聚类簇中的每个音频聚类簇分别对应的业务角色；P为小于或者等于M的正整数；对象角色映射表包括与列表业务对象具有映射关系的业务角色；列表业务对象与M个业务对象之间存在P个重合的业务对象。

本申请实施例一方面提供一种数据处理装置，包括：

图片信息获取模块，用于从多媒体数据的视频帧中获取图片特征信息；图片特征信息用于指示视频帧中的角色图片所属的M个业务对象；M为正整数；

聚类处理模块，用于确定多媒体数据中的N个对象音频帧分别对应的音频语义特征向量，对每个对象音频帧对应的音频语义特征向量进行聚类处理，得到M个音频聚类簇；N个对象音频帧是对多媒体数据中的原始音频帧进行对象定位剥离处理后所得到的；N为正整数；一个音频聚类簇对应一个业务对象；

音频角色识别模块，用于基于图片特征信息、M个音频聚类簇以及与多媒体数据相关联的对象角色映射表，识别P个音频聚类簇中的每个音频聚类簇分别对应的业务角色；P为小于或者等于M的正整数；对象角色映射表包括与列表业务对象具有映射关系的业务角色；列表业务对象与M个业务对象之间存在P个重合的业务对象。

其中，图片信息获取模块包括：

视频帧获取单元，用于从多媒体数据中获取视频帧；

图片切割单元，用于对视频帧中的角色关键部位进行图片切割处理，得到视频帧对应的角色图片；角色图片包括X个角色切割图片；X为大于或者等于M的正整数；

图片编码单元，用于获取X个角色切割图片中的角色切割图片T_i，对角色切割图片T_i进行图片编码处理，得到角色切割图片T_i对应的图片信息向量L_i；i为小于或者等于X的正整数；