[发明专利]一种基于RBM的数据去重的统计方法、装置、设备及介质

权利要求书

1.一种基于RBM的数据去重的统计方法，其特征在于，所述方法包括：

获取用户数据；

判断所述用户数据是否存储在预设的数据库表中；

如果否，则将所述用户数据插入至所述数据库表中；

获取所述数据库表返回的自增ID；其中，所述自增ID在所述用户数据插入至所述数据库表时，自动返回；

根据所述自增ID和int32_max确定所述用户数据所属的压缩位图roaringbitMap分桶以及所述用户数据所对应的分桶数据；

将所述分桶数据保存至所述用户数据所属的roaringbitMap分桶中；

统计每个roaringbitMap分桶中所存储的分桶数据的个数；

确定所有个数的和；

其中，所有个数的和为所述用户数据的去重统计数。

2.根据权利要求1所述的方法，其特征在于，在获取用户数据之前，所述方法还包括：

创建所述数据库表；其中，所述数据库表包括：主键自增ID列以及唯一键数据列。

3.根据权利要求1所述的方法，其特征在于，在获取用户数据之后，判断所述用户数据是否存储在预设的数据库表中之前，所述方法还包括：

确定所述用户数据的长度是否超出预设长度阈值；

如果是，则基于MD5算法对所述用户数据进行处理，得到处理后的用户数据；

所述判断所述用户数据是否存储在预设的数据库表中包括：判断所述处理后的用户数据是否存储在预设的数据库表中。

4.根据权利要求1所述的方法，其特征在于，根据所述自增ID和int32_max确定所述用户数据所属的roaringbitMap分桶以及所述用户数据所对应的分桶数据包括：

确定所述自增ID与int32_max的商；

将所述商的值加1后，作为所述用户数据所属的roaringbitMap分桶的编号；

将所述商所对应的余数作为所述用户数据所对应的分桶数据。

5.根据权利要求1-4中任一项所述的方法，其特征在于，

所述方法能够封装在用户自定义函数UDF中使用。

6.一种基于RBM的数据去重的统计装置，其特征在于，所述装置包括：

获取模块，用于获取用户数据；

判断模块，用于判断所述用户数据是否存储在预设的数据库表中；

插入模块，用于如果所述用户数据未存储在预设的数据库表中，则将所述用户数据插入至所述数据库表中；

所述获取模块，还用于获取所述数据库表返回的自增ID；其中，所述自增ID在所述用户数据插入至所述数据库表时，自动返回；

确定模块，用于根据所述自增ID和int32_max确定所述用户数据所属的roaringbitMap分桶以及所述用户数据所对应的分桶数据；

保存模块，用于将所述分桶数据保存至所述用户数据所属的roaringbitMap分桶中；

统计模块，用于统计每个roaringbitMap分桶中所存储的分桶数据的个数；

所述确定模块，还用于确定所有个数的和；

其中，所有个数的和为所述用户数据的去重统计数。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

创建模块，用于在获取用户数据之前，创建所述数据库表；其中，所述数据库表包括：主键自增ID列以及唯一键数据列。

8.根据权利要求6所述的装置，其特征在于，

所述确定模块，还用于在获取用户数据之后，在判断所述用户数据是否存储在预设的数据库表中之前，确定所述用户数据的长度是否超出预设长度阈值；

如果是，则基于MD5算法对所述用户数据进行处理，得到处理后的用户数据；

所述判断模块，还用于判断所述处理后的用户数据是否存储在预设的数据库表中。