[发明专利]一种基于RBM的数据去重的统计方法、装置、设备及介质

说明书

本发明提供一种基于RBM的数据去重的统计方法、装置、设备及介质，方法包括：获取用户数据；判断用户数据是否存储在预设的数据库表中；如果否，则将用户数据插入至数据库表中；获取数据库表返回的自增ID；根据自增ID和int32_max确定用户数据所属的roaringbitMap分桶以及用户数据所对应的分桶数据；将分桶数据保存至用户数据所属的roaringbitMap分桶中；统计每个roaringbitMap分桶中所存储的分桶数据的个数；确定所有个数的和；其中，所有个数的和为用户数据的去重统计数。由此，可避免数据量过大时，进行数据去重统计所导致的数据库性能下降、数据延迟等问题，在实现实时精确的数据去重统计的同时，保障了数据库的性能。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种基于RBM的数据去重的统计方法、装置、设备及介质。

背景技术

目前，在进行数据去重统计时，通常是将数据存储到数据库中，并设置唯一键，例如将用户ID存储到mysql用户表中，并设置唯一键。当数据重复时，则不进行数据插入，在需要进行数据去重统计的情况下，则对整张表进行计数统计（count）。

上述的数据去重统计方法在数据量比较小（例如：数据量在百万以内）的情况下，数据库的性能相对比较稳定；而在数据量超过百万，小于千万的情况下，性能已不稳定，数据去重统计会受到其他查询的影响，相互干扰，降低查询速度和数据去重统计的速度，导致实时数据延迟得到；而在数据量超过千万，甚至达到亿级以后，数据库性能会极剧下降，甚至会hang死数据库（数据库无响应）。可见，上述方法具备如下缺点：随着数据量的变化，数据去重统计的效率逐渐降低。

发明内容

本发明实施例提供一种基于RBM的数据去重的统计方法、装置、设备及介质，以解决现有技术中随着数据量的变化，数据去重统计的效率逐渐降低，数据库性能下降的技术问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供一种基于RBM的数据去重的统计方法，所述方法包括：

获取用户数据；

判断所述用户数据是否存储在预设的数据库表中；

如果否，则将所述用户数据插入至所述数据库表中；

获取所述数据库表返回的自增ID；其中，所述自增ID在所述用户数据插入至所述数据库表时，自动返回；

根据所述自增ID和int32_max确定所述用户数据所属的roaringbitMap分桶以及所述用户数据所对应的分桶数据；

将所述分桶数据保存至所述用户数据所属的roaringbitMap分桶中；

统计每个roaringbitMap分桶中所存储的分桶数据的个数；

确定所有个数的和；

其中，所有个数的和为所述用户数据的去重统计数。

优选地，在获取用户数据之前，所述方法还包括：

创建所述数据库表；其中，所述数据库表包括：主键自增ID列以及唯一键数据列。

优选地，在获取用户数据之后，判断所述用户数据是否存储在预设的数据库表中之前，所述方法还包括：

确定所述用户数据的长度是否超出预设长度阈值；

如果是，则基于MD5算法对所述用户数据进行处理，得到处理后的用户数据；

所述判断所述用户数据是否存储在预设的数据库表中包括：判断所述处理后的用户数据是否存储在预设的数据库表中。

优选地，根据所述自增ID和int32_max确定所述用户数据所属的roaringbitMap分桶以及所述用户数据所对应的分桶数据包括：

确定所述自增ID与int32_max的商；

将所述商的值加1后，作为所述用户数据所属的roaringbitMap分桶的编号；