[发明专利]一种实时数据处理方法及系统

摘要

本发明公开了一种实时数据处理方法及系统，包括实时接收数据并将数据放入队列中；循环读取队列中的数据并将读取的数据放入缓存中；判断从队列中读取数据的时间是否超过预设的时间阈值，如果是，则将缓存中的数据进行聚合，并将聚合后的数据持久化。本发明的实时数据处理方法及系统，预设时间阈值，在处理队列数据时，每隔固定的时间间隔跳出处理队列的循环，能够保证定期的持久化，也能够保证将相同维度的数据聚合成尽量少的条数，可以平衡持久化压力、持久化的周期和聚合效果这三者之间的矛盾关系，避免了由于数据量过大或者数据出入队列速度不一致造成的种种不良后果。

主权项

一种实时数据处理方法，其特征在于，包括：实时接收数据并将所述数据放入队列中；循环读取所述队列中的数据并将读取的数据放入缓存中；判断从所述队列中读取数据的时间是否超过预设的时间阈值，如果是，则将所述缓存中的数据进行聚合，并将聚合后的数据持久化；其中，所述判断从所述队列中读取数据的时间是否超过预设的时间阈值、如果是、则将所述缓存中的数据进行聚合、并将聚合后的数据持久化包括：将开始循环读取所述队列中数据的当前时间设置为第一时间T1并记录；在每次从所述队列中取出一条数据并放入所述缓存时，判断放入所述缓存时对应的当前时间和T1之间的时间差是否超过所述时间阈值，如果超过所述时间阈值，则跳出读取所述队列中数据的循环，将缓存中的数据进行聚合，并将聚合后的数据持久化；如果未超过所述时间阈值，则继续循环进行从所述队列中读取下一条数据的操作。