[发明专利]流式数据处理方法、装置、设备和介质

权利要求书

1.一种流式数据处理方法，其特征在于，包括：

确定预设数量的槽位中是否存在实时接收的新数据中的关键字段，其中，所述预设数量的值大于需求数据量的设定值；

如果不存在，并且所述预设数量的槽位中不存在空位，则用所述关键字段替换槽位中的末位字段，并根据所述新数据当前携带的信息和所述末位字段的统计属性，确定所述关键字段在槽位中的统计属性；

根据所述关键字段的统计属性，实时确定所述新数据是否属于需求数据；

如果所述新数据不属于需求数据，则按照所述新数据所属的报表，调用数据写入处理线程，将所述新数据分别写入外部存储引擎的列族中，其中，一个列族用于存储属于一个报表的数据。

2.根据权利要求1所述的方法，其特征在于，所述统计属性包括计数值和误差值；

相应的，根据所述新数据当前携带的信息和所述末位字段的统计属性，确定所述关键字段在槽位中的统计属性，包括：

根据所述新数据当前携带的信息和所述末位字段的计数值，确定所述关键字段在槽位中的计数值，并将所述末位字段的计数值确定为所述关键字段的误差值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果所述预设数量的槽位中不存在所述关键字段，并且所述预设数量的槽位中存在空位，则将所述关键字段添加至所述空位，根据所述新数据当前携带的信息，对所述关键字段在槽位中的计数值进行初始化，其中，将所述计数值进行初始化包括将所述关键字段在槽位中的误差值初始化为0。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过所述预设数量的槽位中存储的各个字段的计数值形成双向链表；将所述各个字段作为父节点，将所述各个字段的计数值作为子节点，所述父节点与所述子节点为对应关系。

5.根据权利要求4所述的方法，其特征在于，在确定所述关键字段在槽位中的统计属性之后，所述方法还包括：

按照各计数值的大小，通过各计数值在所述双向链表中的移动，对各计数值进行排序；

根据各计数值的排序结果，以及所述各个字段与计数值之间的对应关系，确定所述各个字段在所述预设数量的槽位中的位置。

6.根据权利要求2所述的方法，其特征在于，根据所述关键字段的统计属性，实时确定所述新数据是否属于需求数据，包括：

对截止到当前的设定时间期限内，已接收数据中所有关键字段的计数值进行累计，得到累计和；

计算所述累计和与所述预设数量之间的目标商值；

根据所述关键字段的计数值与误差值的差值、以及所述目标商值，实时确定所述新数据是否属于需求数据。

7.根据权利要求6所述的方法，其特征在于，根据所述关键字段的计数值与误差值的差值、以及所述目标商值，实时确定所述新数据是否属于需求数据，包括：

利用以下公式实时确定所述新数据是否属于需求数据，

(count-error)＞(N/M)

其中，所述count用于表示所述关键字段的计数值，所述error用于表示所述关键字段的误差值，所述M用于表示所述预设数量，所述N用于表示所述累计和，所述N/M用于表示所述目标商值。

8.根据权利要求1所述的方法，其特征在于，所述确定预设数量的槽位中是否存在实时接收的新数据中的关键字段，包括：

利用所述预设数量的槽位中各字段的哈希列表，确定所述实时接收的新数据中的关键字段，是否存在于所述预设数量的槽位中。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果经过预设时间，基于所述新数据中关键字段的更新计数值，确定所述新数据的状态变更为属于需求数据，则调用数据读取处理线程，从各个列族中读取存储的所述新数据。