[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取原始数据集；

采用平均端口杰森香农散度评估所述原始数据集，得到第一指标，所述第一指标用于表示所述原始数据集的多样性；

将所述原始数据集中的数据输入至生成对抗网络GAN并生成第一扩充数据；

结合所述第一扩充数据以及所述原始数据集中的数据，并采用所述平均端口杰森香农散度进行评估，得到第二指标，所述第二指标用于表示结合所述第一扩充数据后所述原始数据集的多样性；

当所述第二指标大于所述第一指标时，将所述第一扩充数据添至所述原始数据集中，得到第一数据集；

用所述第一数据集替换所述原始数据集。

2.如权利要求1所述的方法，其特征在于，在所述得到第一指标之后，所述方法还包括：

对所述原始数据集的数据进行特征提取；

采用局部离群点因子LOF算法检测特征提取后的所述原始数据集的数据，得到离群点集；

将所述离群点集中的数据输入至GAN并生成所述第一扩充数据。

3.如权利要求1或2所述的方法，其特征在于，所述生成对抗网络GAN采用的损失函数具有多个参数，其中，所述多个参数包括端口杰森香农散度和核最大平均差异。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

针对所述原始数据集中具有的标签，从公开数据集中引入具有相同标签的数据；

对具有相同标签的所述公开数据集中的数据进行特征提取；

结合所述具有相同标签的所述公开数据集中的数据以及所述第一数据集中的数据，并采用所述平均端口杰森香农散度进行评估，得到第三指标，所述第三指标用于表示结合具有相同标签的所述公开数据集中的数据后所述第一数据集的多样性；

当所述第三指标大于所述第一指标时，将具有相同标签的所述公开数据集中的数据作为第二扩充数据。

5.如权利要求4所述的方法，所述具有相同标签包括：

所述公开数据集中的标签与所述原始数据集中的标签相同；或

所述公开数据集中的标签属于所述原始数据集中的标签的子集。

6.如权利要求4或5所述的方法，其特征在于，所述方法还包括：

将所述第二扩充数据添加至所述原始数据集中，得到所述第二数据集；

用所述第二数据集替换所述原始数据集。

7.如权利要求4或5所述的方法，其特征在于，所述方法还包括：

对所述第二扩充数据采用所述GAN生成第三扩充数据；

结合所述第三扩充数据以及所述原始数据集中的数据，并采用所述平均端口杰森香农散度进行评估，得到第四指标，所述第四指标用于表示结合所述第三扩充数据后所述原始数据集的多样性；

当所述第四指标大于所述第一指标时，将所述第三扩充数据添加至所述原始数据集中，得到第三数据集；

用所述第三数据集替换所述原始数据集。

8.如权利要求1-7任一所述的方法，其特征在于，所述原始数据集、所述第一数据集、所述第二数据集和/或所述第三数据集中数据的数据类型为图片类型。

9.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取原始数据集；

评估模块，用于采用平均端口杰森香农散度评估所述原始数据集，得到第一指标，所述第一指标用于表示所述原始数据集的多样性；

第一生成模块，用于将所述原始数据集中的数据输入至生成对抗网络GAN并生成第一扩充数据；

所述评估模块还用于，结合所述第一扩充数据以及所述原始数据集中的数据，并采用所述平均端口杰森香农散度进行评估得到第二指标，所述第二指标用于表示结合所述第一扩充数据后所述原始数据集的多样性；

添加模块，用于当所述第二指标大于所述第一指标时，将所述第一扩充数据添加至所述原始数据集中，得到第一数据集；

替换模块，用于用所述第一数据集替换所述原始数据集。