[发明专利]一种用户数据整编的方法及装置

说明书

本发明提供一种用户数据整编的方法，包括获取用户数据，并将所获取的用户数据存放至初始为空的基于链表的无界非阻塞队列中；获取无界非阻塞队列的下一周期检测时间；待无界非阻塞队列的下一周期检测时间到达时，若判定无界非阻塞队列中存放的用户数据的数量大于预设值，则对无界非阻塞队列中存放的用户数据进行整编并存入预设的数据库中，且进一步清空无界非阻塞队列。实施本发明，能够有效缓解终端上报数据过于集中时CPU及内存占用过多的问题，用以保证数据的完整性。

技术领域

本发明涉及电力数据智能化技术领域，尤其涉及一种用户数据整编的方法及装置。

背景技术

随着云计算、大数据、人工智能等技术的快速发展，智能电网的建设速度逐渐加快。在此背景下，通过智能电网的配用电系统收集到的数据量爆发式增长，这些数据的有效使用，将非常有助于智能电网业务的精细化关联。然而，智能电网业务的精细化为用户和企业带来便捷和利益的同时，随之而来的各类应用也不断增加，因此给后台数据处理装置带来很大的压力。

现有技术中，由于终端上报的数据分为用户登录数据、核心功能使用数据、核心功能完成数据、核心功能错误数据等不同类型数据，使得后台数据处理装置往往需要根据数据类型分别进行处理，一旦终端上报数据过于集中，会导致后台数据处理装置的CPU及内存占用过多，甚至会出现宕机而造成数据丢失。

因此，亟需一种用户数据整编的方法，能够有效缓解终端上报数据过于集中时CPU及内存占用过多的问题，用以保证数据的完整性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种用户数据整编的方法及装置，能够有效缓解终端上报数据过于集中时CPU及内存占用过多的问题，用以保证数据的完整性。

为了解决上述技术问题，本发明实施例提供了一种用户数据整编的方法，所述方法包括以下步骤：

获取用户数据，并将所获取的用户数据存放至初始为空的基于链表的无界非阻塞队列中；

获取所述无界非阻塞队列的下一周期检测时间；

待所述无界非阻塞队列的下一周期检测时间到达时，若判定所述无界非阻塞队列中存放的用户数据的数量大于预设值，则对所述无界非阻塞队列中存放的用户数据进行整编并存入预设的数据库中，且进一步清空所述无界非阻塞队列。

其中，所述方法进一步包括：

待所述无界非阻塞队列的下一周期检测时间到达时，若判定所述无界非阻塞队列中存放的用户数据的数量小于所述预设值，则等待一定时间后，对所述无界非阻塞队列中存放的用户数据进行整编并存入所述预设的数据库中，且进一步清空所述无界非阻塞队列。

其中，所述对所述无界非阻塞队列中存放的用户数据进行整编并存入所述预设的数据库中的具体步骤包括：

对所述无界非阻塞队列中存放的用户数据进行索引查询，将行为、设备类型、用户、部门及版本都相同的多条用户数据仅处理为一条记录但会累加计数，将行为、设备类型、用户、部门及版本之中任一个相异的多条用户数据均保留为一条记录；

确定周期写入所述预设的数据库中的时间，并在每一周期写入所述预设的数据库中的时间达到时，将所述无界非阻塞队列处理后的记录均写入所述预设的数据库中。

其中，所述方法进一步包括：

在所述无界非阻塞队列处理后的记录均写入所述预设的数据库之前，会对所述无界非阻塞队列处理后的记录增加关键字索引。

其中，所述方法进一步包括：

确定所述无界非阻塞队列处理后的记录均写入所述预设的数据库的当前时间，并删除所述预设的数据库中距离当前时间超出三个月的记录。

本发明实施例还提供了一种用户数据整编的装置，包括：