[发明专利]用于模型训练的污染样本数据的检测方法及装置

说明书

本发明公开了一种用于模型训练的污染样本数据的检测方法及装置，涉及信息技术领域，主要在于能够提高污染样本数据的检测精度，从而能够保证异常行为检测模型的检测精度。其中方法包括：获取待检测的各个平台用户对应的样本属性数据；利用预设局部敏感哈希算法，分别将各个样本属性数据哈希到不同哈希表中相应的哈希桶内；将所述不同哈希表中与所述各个样本属性数据位于同一个哈希桶中的数据确定为第一样本属性数据；从所述第一样本属性数据中筛选出与所述各个样本属性数据相似的第二样本属性数据；基于所述第二样本属性数据对应的样本数据量，分别判定所述各个样本属性数据是否为污染样本数据。本发明适于样本属性数据的污染检测。

技术领域

本发明涉及信息技术领域，尤其是涉及一种用于模型训练的污染样本数据的检测方法及装置。

背景技术

在互联网越来越发达的今天，人们越来越多的在网上购物，因此电商平台往往推出各种优惠活动来吸引访客，这些优惠活动在吸引正常用户的同时，也吸引了各种不法分子的注意，识别出不法分子的异常行为对于网络平台安全有重要意义，随着人工智能领域的发展，可以利用大量用户的样本数据训练用于异常行为检测的模型，由于用户的样本数据是人工智能的基础，如果攻击者通过对样本数据进行污染，使人工智能算法学习到错误的数据特征，则会改变模型的分类边界，从而严重影响异常行为检测模型的执行效果，因此，在进行模型训练之前有必要对用户的样本数据进行污染检测。

目前，在对异常行为检测模型的训练集进行污染检测的过程中，通常通过对样本数据进行查重，来检测样本数据中是否存在被污染的样本数据。然而，污染样本数据的方式，包括复制、细微的变换、合成等手段，这种简单的查重方式无法对经过变换、合成的污染样本数据进行检测，从而会导致污染样本数据的检测精度较低，无法保证样本数据的安全，进而影响异常行为检测模型的检测精度。

发明内容

本发明提供了一种用于模型训练的污染样本数据的检测方法及装置，主要在于能够提高污染样本数据的检测精度，确保样本数据的安全，从而能够提高异常行为检测模型的检测精度。

根据本发明的第一个方面，提供一种用于模型训练的污染样本数据的检测方法，包括：

获取待检测的各个平台用户对应的样本属性数据，所述样本属性数据至少包括所述各个平台用户对应的设备属性数据、风控数据和业务数据，所述设备属性数据包括设备标识和应用程序标识，所述风控数据包括所述平台用户的请求信息和个人信息，所述业务数据包括所述平台用户的订单信息和退单信息；

利用预设局部敏感哈希算法，分别将各个样本属性数据哈希到不同哈希表中相应的哈希桶内，其中，任意一个哈希表中均包括多个哈希桶；

将所述不同哈希表中与所述各个样本属性数据位于同一个哈希桶中的数据确定为第一样本属性数据；

从所述第一样本属性数据中筛选出与所述各个样本属性数据相似的第二样本属性数据；

基于所述第二样本属性数据对应的样本数据量，分别判定所述各个样本属性数据是否为污染样本数据。

根据本发明的第二个方面，提供一种用于模型训练的污染样本数据的检测装置，包括：

获取单元，用于获取待检测的各个平台用户对应的样本属性数据，所述样本属性数据至少包括所述各个平台用户对应的设备属性数据、风控数据和业务数据，所述设备属性数据包括设备标识和应用程序标识，所述风控数据包括所述平台用户的请求信息和个人信息，所述业务数据包括所述平台用户的订单信息和退单信息；

哈希单元，用于利用预设局部敏感哈希算法，分别将各个样本属性数据哈希到不同哈希表中相应的哈希桶内，其中，任意一个哈希表中均包括多个哈希桶；

确定单元，用于将所述不同哈希表中与所述各个样本属性数据位于同一个哈希桶中的数据确定为第一样本属性数据；

筛选单元，用于从所述第一样本属性数据中筛选出与所述各个样本属性数据相似的第二样本属性数据；

判定单元，用于基于所述第二样本属性数据对应的样本数据量，分别判定所述各个样本属性数据是否为污染样本数据。