[发明专利]JSON字符串的处理方法及装置

说明书

本发明公开了一种JSON字符串的处理方法及装置。其中，该方法包括：获取待处理的JSON字符串；根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。本发明解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。

技术领域

本发明涉及数据存储领域，具体而言，涉及一种JSON字符串的处理方法及装置。

背景技术

目前，在对大数据进行存储时，通常会采用Impala等列存储引擎。对于具有多对多关联的数据表，往往存在着在实体与实体之间的多对多关联。在上述具有多对多关联的数据表进行查询时，表连接Shuffle开销比较大，查询性能不是很高。

为了提高列存储引擎的查询性能，可以将具有多对多关联的多条数据以JSON(JavaScript Object Notation，JavaScript对象表示法)数据格式存储在一个字符串当中，并存储于同一个字段内。由于多条数据存储于一个JSON格式的字符串中，当需要对JSON字符串中的数据内容进行分析时，通常需要先对JSON字符串进行反序列化处理后，再进行后续的分析处理，往往运行效率很低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种JSON字符串的处理方法及装置，以至少解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。

根据本发明实施例的一个方面，提供了一种JSON字符串的处理方法，包括：获取待处理的JSON字符串；根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。

进一步地，聚合处理参数至少包括：筛选参数和聚合参数，其中，按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标，包括：按照筛选参数对字段集合进行筛选，生成待聚合字段集合；按照聚合参数对聚合字段集合进行聚合处理，确定聚合指标。

进一步地，根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合，包括：确定第一格式规则中用于对JSON字符串中的多条信息进行分割的预设字符；根据预设字符对JSON字符串进行拆分，生成字段集合。

进一步地，在根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合之后，方法还包括：获取预先设置的筛选条件，其中，筛选条件至少包括:关键字；利用筛选条件对字段集合中的字段进行筛选，生成新字段集合。

进一步地，按照预先设置的聚合处理参数对字段进行聚合处理，确定与聚合处理参数对应的聚合指标，包括：获取预先设置的聚合处理参数，其中，聚合处理参数至少包括：求和参数、计数参数；根据聚合处理参数对字段集合中的字段进行聚合处理，确定与聚合处理参数对应的聚合指标。

进一步地，在按照预先设置的聚合处理参数对字段进行聚合处理，确定聚合处理参数对应的聚合指标之后，方法还包括：按照预先设置的第二格式规则对聚合指标进行处理，生成聚合指标字符串。

进一步地，在按照预先设置的第二格式规则对聚合指标进行处理，生成聚合指标字符串之前，方法还包括：按照预先设置的分析参数对聚合指标进行处理，得到新聚合指标。

根据本发明实施例的另一方面，还提供了一种JSON字符串的处理装置，包括：第一获取模块，用于获取待处理的JSON字符串；第一生成模块，用于根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；确定模块，用于按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。