[发明专利]困难样本数据挖掘方法、装置、设备和存储介质

说明书

本发明实施例公开了一种困难样本数据挖掘方法、装置、设备和存储介质，该方法包括：获取待检测流数据，基于设定的时间窗口以及时间间隔确定所述待检测流数据中的连续多个子流数据；通过机器审核模型确定所述连续多个子流数据中每个子流数据的审核结果；如果存在审核结果不一致的子流数据，则确定所述不一致的子流数据与临近子流数据的相似度，如果所述相似度满足预设条件，则确定所述审核结果不一致的子流数据为困难样本。本方案，实现了从海量的无标签流数据中快速高效的挖掘困难样本，并用于模型迭代，有效提高模型性能，保证了模型推送数据的召回率和准确率，同时使得相应的审核模型能发现更多违规数据，降低整体数据的推送量。

技术领域

本申请实施例涉及计算机领域，尤其涉及一种困难样本数据挖掘方法、装置、设备和存储介质。

背景技术

目前短视频、直播、新闻资讯等平台的迅速发展崛起，带来的视频、音频等数据量与日俱增，随着国家监管的力度不断提升，许多不良内容已成为重点关注区域，音视频内容安全审核在其中发挥着重要作用。现代内容安全审核系统以机器审核为主，通过滤除大量无效、不违规的音视频数据，只推送少量潜在违规的数据供人工审核，极大提升了审核效率，减轻人工审核负担，避免了人工审核面对大量音视频数据时带来的疲劳误审、漏审。因此为了保证短视频、直播等音视频内容安全，内容安全审核系统中机器审核需要尽可能的推送更多的违规数据，并在此前提下，减少推送数据的总量(也即高召回率和高准确率)。

提升机器审核模型的性能对于保证线上流数据安全至关重要，提升机器审核模型主要体现在两方面：第一为线上流数据中存在违规比较隐蔽的难正样本(比如违规区域小，存在遮挡，背景昏暗复杂等)，会影响机器审核模型的召回率；第二为线上流数据中存在和违规内容非常相似的特征，但实际并不违规的难负样本(如黑色杆状物被认为是违规物品)，会影响机器审核模型的准确率。因此加入难正样本和难负样本重训能提升机器审核模型识别难样本能力。

现有技术中，提升模型性能的困难样本挖掘的方法，大多在已有数据标签情况下挖掘困难样本，属于有监督挖掘；而无法对于像直播流巨大数据量无标签场景进行挖掘，如果将数据进行标注则成本太高，且耗时长，挖掘的困难样本少。因此为提升机器审核模型的性能，需快速便捷准确的从线上流数据中无监督挖掘出有效困难样本。

发明内容

本发明实施例提供了一种困难样本数据挖掘方法、装置、设备和存储介质，实现了从海量的无标签流数据中快速高效的挖掘困难样本，并用于模型迭代，有效提高模型性能，保证了模型推送数据的召回率和准确率，同时使得相应的审核模型能发现更多违规数据，降低整体数据的推送量，进一步减轻了人工审核的负担。

第一方面，本发明实施例提供了一种困难样本数据挖掘方法，该方法包括：

获取待检测流数据，基于设定的时间窗口以及时间间隔确定所述待检测流数据中的连续多个子流数据；

通过机器审核模型确定所述连续多个子流数据中每个子流数据的审核结果；

如果存在审核结果不一致的子流数据，则确定所述不一致的子流数据与临近子流数据的相似度，如果所述相似度满足预设条件，则确定所述审核结果不一致的子流数据为困难样本。

第二方面，本发明实施例还提供了一种困难样本数据挖掘装置，该装置包括：

子流数据确定模块，用于获取待检测流数据，基于设定的时间窗口以及时间间隔确定所述待检测流数据中的连续多个子流数据；

审核结果确定模块，用于通过机器审核模型确定所述连续多个子流数据中每个子流数据的审核结果；

困难样本确定模块，用于如果存在审核结果不一致的子流数据，则确定所述不一致的子流数据与临近子流数据的相似度，如果所述相似度满足预设条件，则确定所述审核结果不一致的子流数据为困难样本。

第三方面，本发明实施例还提供了一种困难样本数据挖掘设备，该设备包括：