[发明专利]一种数据交互的优化方法、装置、服务器及存储介质

说明书

本发明实施例公开了一种数据交互的优化方法、装置、服务器及存储介质。所述方法包括：将从消息队列中接收的同一批数据发送给同一处理组件；通过同一处理组件批量查询同一批数据在数据库中存储的中间状态，响应批量查询更新各条数据对应的中间状态的全系统比较计数参数的取值，并将更新的全系统比较计数参数的取值和所述中间状态存储在数据库中；依据各条数据和各条数据对应的中间状态进行业务处理；在业务处理后，针对每条数据，若数据库中存储的该条数据对应的中间状态的全系统比较计数参数的取值不变，则在数据库中更新该条数据对应的中间状态。本发明实施例可以减小交互次数，降低延时，并避免业务分析过程中的冗余和紊乱。

技术领域

本发明实施例涉及数据交互技术领域，尤其涉及一种数据交互的优化方法、装置、服务器及存储介质。

背景技术

随着科技的迅速发展，越来越多的终端实时数据需要进行一系列业务分析，如车辆的终端数据，涉及车辆里程统计、自适应巡航控制电源(Adaptive Cruise Control，ACC)分析、行停分析、终端报警处理、进出区域分析和异常停留分析等一系列错综复杂的业务。由于数据量大，数据种类多，数据的实时性，稳定性，可靠性要求较高，因而对数据处理时的数据交互性能提出了非常高的要求。

目前，许多分布式实时计算系统都能够实现处理大数据流，如Spark、Samza和Storm等。对于Storm实时数据处理中，需要把分析所得的“中间状态”存储于Redis数据库中，然后结合“中间状态”与最新的实时数据进行再次分析，不断得到最新分析结果。

然而，因为实时计算中涉及到大批量数据流，而且系统运行在多节点上，虽然Redis存取速度非常快捷，倘若每条实时数据的分析都查询一次“中间状态”，随着数据量的不断增大，数据处理的延时将大大增加，极大的影响了数据处理性能。并且因为系统是在多节点上运行，不同的节点上可能正在计算同一个车辆的多条实时数据，而每个节点上针对所查询的“中间状态”可能与别的节点相同也可能不同，可能使得存储的中间状态冗余，最终使得分析结果冗余甚至紊乱。

发明内容

本发明实施例提供了一种数据交互的优化方法、装置、服务器及存储介质，可以减小交互次数，降低延时，并避免业务分析过程中的冗余和紊乱。

第一方面，本发明实施例提供了一种数据交互的优化方法，包括：

将从消息队列中接收的同一批数据发送给同一处理组件；

通过所述同一处理组件批量查询所述同一批数据在数据库中存储的中间状态，响应所述批量查询更新各条数据对应的中间状态的全系统比较计数参数的取值，并将更新的各条数据对应的中间状态的全系统比较计数参数的取值和所述中间状态存储在所述数据库中，其中所述全系统比较计数参数用于统计相应数据的中间状态的查询次数；

依据所述各条数据和所述各条数据对应的中间状态进行业务处理；

在业务处理后，针对每条数据，若所述数据库中存储的该条数据对应的中间状态的全系统比较计数参数的取值不变，则在所述数据库中更新该条数据对应的中间状态。

第二方面，本发明实施例还提供了一种数据交互的优化装置，该装置包括：

数据发送模块，用于将从消息队列中接收的同一批数据发送给同一处理组件；

查询模块，用于通过所述同一处理组件批量查询所述同一批数据在数据库中存储的中间状态，响应所述批量查询更新各条数据对应的中间状态的全系统比较计数参数的取值，并将更新的各条数据对应的中间状态的全系统比较计数参数的取值和所述中间状态存储在所述数据库中，其中所述全系统比较计数参数用于统计相应数据的中间状态的查询次数；

处理模块，用于依据所述各条数据和所述各条数据对应的中间状态进行业务处理；