[发明专利]一种元素处理方法、装置、电子设备及存储介质

说明书

本发明公开了一种元素处理方法、装置、设备及存储介质。接收元素，作为目标对象；将目标对象写入目标桶中，目标桶为预设的多个桶中、与目标对象适配的桶，每个桶具有容器，桶用于存储具有同一行为的元素，容器用于存储元素的特征值；在目标桶中，计算容器中特征值的基数；根据基数识别目标对象的属性。本发明实施例可在亿级数据规模下实现对目标对象的属性识别，能够提高计算效率，减少内存占用。

技术领域

本发明实施例涉及大数据处理技术，尤其涉及一种元素处理方法、装置、电子设备及存储介质。

背景技术

随着移动互联网的发展，全球数据量正在惊人的增长，随之带来的移动设备和IP(Internet Protocol，网际互连协议)等数据和软硬件基础设施规模也非常庞大，最大可达百亿规模之巨。

面对如此巨大的数据规模，移动互联网的各行各业在业务数据的处理中，常常要求在极短的时间内，从海量数据中快速区分新旧数据信息。在广告推广、新闻推送、商品售卖、视频直播等领域，往往需要快速统计当前的浏览量和点击量，还要对新用户的信息进行留存，例如，在移动互联网广告行业，面对数量如此巨大的移动设备规模，常常要求在极短的时间内，判断出一个移动设备或IP是否观看过某个广告，是否点击过某个广告等等，若该设备或IP点击过某个广告，则不再推送相同的广告。此类需求对硬件性能和软件算法要求较高，给计算机的计算能力带来了较大的挑战，甚至在其他领域，类似的计算需求也常常存在。在传统数学上，以上需求都可以转换为一个共同的数学问题：即判断一个元素是否已经存在于某个集合中；而常见的求解此类问题的方法有b树、bitmap(位图)等。

b树是通过维护一个可以比较元素大小的数据结构，通过对元素的高效查找和插入，来实现对一个元素是否存在于某个集合的准确判断，缺点是随着元素数量的增加，b树占用的内存也迅速增加，内存上限不可控，在数据规模持续爆发、单机内存有限的互联网环境下存在内存占用溢出的风险，对线上系统的稳定运行造成影响，而且无法利用b树对多个集合快速求并集。bitmap是通过将每个元素用散列函数映射到一个bit上，来实现对元素的高速查找，因为任何两个bitmap只要进行按位或操作就能合并，所以可以解决b树无法快速求并集的问题，但缺点是需要预先分配内存，而且内存上限决定了可求的基数上限，而且当基数接近这个上限的时候，由于散列值冲突的原因，判断准确率会急剧下降。

发明内容

本发明提供一种元素处理方法、装置、电子设备及存储介质，以实现在极短的时间内，从海量数据中快速识别目标对象的属性。

第一方面，本发明实施例提供了一种元素处理方法，包括：

接收元素，作为目标对象；

将所述目标对象写入目标桶中，所述目标桶为预设的多个桶中、与所述目标对象适配的桶，每个所述桶具有容器，所述桶用于存储具有同一行为的元素，所述容器用于存储元素的特征值；

在所述目标桶中，计算所述容器中所述特征值的基数；

根据所述基数识别所述目标对象的属性。

第二方面，本发明实施例还提供了一种元素处理装置，该装置包括：

接收模块，用于接收元素，将所述元素作为目标对象；

处理模块，用于将所述目标对象写入目标桶中，所述目标桶为预设的多个桶中、与所述目标对象适配的桶，每个所述桶具有容器，所述桶用于存储具有同一行为的元素，所述容器用于存储元素的特征值；

计算模块，用于在所述目标桶中，计算所述容器中所述特征值的基数；

识别模块，用于根据所述基数识别所述目标对象的属性。

第三方面，本发明实施例还提供了一种计算机设备，该设备包括：

一个或多个处理器；