[发明专利]用于预测帖子互动行为状态的方法、计算设备和存储介质

权利要求书

1.一种用于预测帖子互动行为状态的方法，包括：

针对与用户相关联的帖子的文本数据、图像数据、视频数据和音频数据进行预处理，以便分别生成文本输入数据、图像输入数据、视频帧输入数据和频谱图输入数据；

经由第一神经网络模型，提取所述文本输入数据的特征，以便生成文本表征数据；

经由第二神经网络模型，提取所述图像输入数据的特征，以便生成图像表征数据；

经由第三神经网络模型，提取所述视频帧输入数据的特征，以便生成视频帧表征数据；

经由第四神经网络模型，提取所述频谱图输入数据的特征，以便生成声谱表征数据；以及

融合用户信息、所述文本表征数据、图像表征数据、视频帧表征数据和声谱表征数据，以便经由回归模型基于融合后数据生成关于所述帖子的互动行为状态的预测概率。

2.根据权利要求1所述的方法，其中经由回归模型基于融合后数据生成关于所述帖子的互动行为状态的预测概率包括：

将用户信息、所述文本表征数据、图像表征数据、视频帧表征数据和声谱表征数据投影至同一特征空间；

针对被投影至同一特征空间的数据进行拼接、向量外积或者向量平均，以便生成融合后数据；以及

将所述融合后数据，经由全连接层和所述回归模型，生成关于所述帖子的互动行为状态的预测概率，所述回归模型由Softmax模型所构建。

3.根据权利要求1所述的方法，其中针对与用户相关联的帖子的文本数据、图像数据、视频数据和音频数据进行预处理包括：

针对所述帖子的文本数据进行分词；

将分词后的文本数据映射为文本标识序列，以便生成用于输入所述第一神经网络的文本输入数据，所述第一神经网络是基于转换器的双向编码表征模型而构建的；

确定所述帖子的图像数据是否为灰度图像数据；

响应于确定所述图像数据为灰度图像数据，将所述图像数据转换为RGB图像数据；以及

裁剪所述RGB图像数据的中心区域，以便生成用于输入所述第二神经网络的图像输入数据，所述图像输入数据为三维图像数组。

4.根据权利要求1所述的方法，其中针对与用户相关联的帖子的文本数据、图像数据、视频数据和音频数据进行预处理还包括：

基于预定间隔，提取所述帖子的视频数据的视频帧数据；

响应于确定所述视频帧数据为灰度视频帧数据，将所述视频帧数据转换为RGB视频帧数据；

裁剪所述RGB视频帧数据的中心区域，以便生成用于输入所述第三神经网络的视频帧输入数据。

5.根据权利要求1所述的方法，其中针对与用户相关联的帖子的文本数据、图像数据、视频数据和音频数据进行预处理还包括：

裁剪所述帖子的音频数据，以便针对经裁剪的音频数据进行通道合并；

针对合并后的音频数据进行采样，以便生成音频采样数据；

经由短时傅里叶变换，将音频采样数据转换为频谱图；以及

将所述频谱图转换为梅尔声谱特征，以生成用于输入所述第四神经网络的频谱图输入数据。

6.根据权利要求1所述的方法，其中关于帖子的互动行为包括关于所述帖子的点击，点赞，私聊，关注，评论，分享，收藏中的至少一种互动行为。

7.根据权利要求4所述的方法，还包括：

基于帖子的历史曝光数据、历史点赞数、所有帖子的历史曝光平均数据和历史平均点赞数，计算关于帖子的点赞状态的第一学习目标；

计算关于帖子的点击、私聊、关注、评论、分享和收藏中至少一种互动行为状态的第二学习目标；以及

基于所计算的第一学习目标和第二学习目标，训练第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型和回归模型。

8.根据权利要求4所述的方法，其中第二神经网络模型是基于深度残差网络模型而构建的，第三神经网络模型是基于深度残差网络和长短期记忆模型而构建的，第四神经网络模型是基于VGGish模型而构建的。