[发明专利]一种数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

从多媒体数据的视频帧中获取图片特征信息；所述图片特征信息用于指示所述视频帧中的角色图片所属的M个业务对象；M为正整数；

确定所述多媒体数据中的N个对象音频帧分别对应的音频语义特征向量，对每个对象音频帧对应的音频语义特征向量进行聚类处理，得到M个音频聚类簇；所述N个对象音频帧是对所述多媒体数据中的原始音频帧进行对象定位剥离处理后所得到的；N为正整数；所述N个对象音频帧分别对应的音频语义特征向量是通过音频语义特征提取模型所确定的；所述音频语义特征提取模型包括频域分支网络层、时域分支网络层以及卷积网络层；一个音频聚类簇对应一个业务对象；所述M个音频聚类簇包括音频聚类簇C_k；k为小于或者等于M的正整数；

基于所述图片特征信息、所述M个音频聚类簇以及与所述多媒体数据相关联的对象角色映射表，识别P个音频聚类簇中的每个音频聚类簇分别对应的业务角色；P为小于或者等于M的正整数；所述对象角色映射表包括与列表业务对象具有映射关系的业务角色；所述列表业务对象与所述M个业务对象之间存在P个重合的业务对象；所述音频聚类簇C_k对应的业务角色是基于与所述音频聚类簇C_k的第一播放时间具有最高时间重叠度的第二播放时间所对应的业务对象所确定的；所述具有最高时间重叠度是从所述音频聚类簇C_k的第一播放时间与P个业务对象的每个业务对象的第二播放时间之间的时间重叠度中所确定的。

2.根据权利要求1所述的方法，其特征在于，所述从多媒体数据的视频帧中获取图片特征信息，包括：

从多媒体数据中获取视频帧；

对所述视频帧中的角色关键部位进行图片切割处理，得到所述视频帧对应的角色图片；所述角色图片包括X个角色切割图片；X为大于或者等于M的正整数；

获取所述X个角色切割图片中的角色切割图片T_i，对所述角色切割图片T_i进行图片编码处理，得到所述角色切割图片T_i对应的图片信息向量L_i；i为小于或者等于X的正整数；

从与候选对象相关联的信息向量数据库中，确定与所述图片信息向量L_i相匹配的对象关键信息向量，将匹配到的对象关键信息向量对应的候选对象作为所述角色切割图片T_i对应的业务对象；

基于获取到的角色切割图片分别对应的业务对象，确定所述视频帧对应的图片特征信息。

3.根据权利要求2所述的方法，其特征在于，所述对所述视频帧中的角色关键部位进行图片切割处理，得到所述视频帧对应的角色图片，包括：

对所述视频帧中的角色关键部位进行检测定位，确定所述角色关键部位在所述视频帧中的位置信息；

基于所述位置信息，在所述视频帧中切割所述角色关键部位，得到X个包含所述角色关键部位的角色切割图片，将X个角色切割图片作为所述视频帧对应的角色图片。

4.根据权利要求2所述的方法，其特征在于，所述从与候选对象相关联的信息向量数据库中，确定与所述图片信息向量L_i相匹配的对象关键信息向量，将匹配到的对象关键信息向量对应的候选对象作为所述角色切割图片T_i对应的业务对象，包括：

获取与候选对象相关联的信息向量数据库；所述信息向量数据库用于存储Y个候选对象分别对应的对象关键信息向量；Y为大于或者等于M的正整数；

分别确定所述图片信息向量L_i与Y个对象关键信息向量中的每个对象关键信息向量之间的向量距离，得到Y个向量距离；

从所述Y个向量距离中获取小于或者等于距离阈值的最小向量距离，确定所述最小向量距离对应的对象关键信息向量所对应的候选对象，将确定的候选对象作为所述角色切割图片T_i对应的业务对象。