[发明专利]一种基于服务开放平台的服务调用数据统计分析方法及系统

说明书

本发明公开了一种基于服务开放平台的服务调用数据统计分析方法及系统，所述方法包括：采集服务调用情况数据；采集服务调用情况数据，将以UDP采集方式采集的数据存储在分布式时序数据库中，将以HTTP采集方式采集的数据经分析后数据存入分布式事务数据库中；依据用户输入的关键字查询，若检测到分布式事务数据库的数据满足查询条件，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。本发明可以满足多客户端高并发访问平台服务的情况下，服务调用数据存储、查询及统计分析的实时性和准确性，支撑开放平台运营者和服务开发者根据服务调用数据快速决策。

技术领域

本发明涉及通信技术领域，更具体地，涉及一种基于服务开放平台的服务调用数据统计分析方法及系统。

背景技术

随着互联网、大数据和人工智能技术的发展，各公司和机构积累价值较高的数据资源、特定业务专题分析以及通用的人工智能感知能力，并为了数据和技术的价值最大化，将这些能力以服务的形式对内、对外开放，使得开放平台已经成为流行的服务模式。随着自研和外部开发者所开发的应用API接口接入到开放平台中，极大的丰富了平台的服务，供广大的互联网用户和应用开发者选择和使用，也为应用API开发者带来了经济收益。

对于服务开放平台的运营者、将研发成果发布到开放平台的服务开发者而言，需要尽可能快地了解整个平台服务的服务调用数据情况，掌握服务收益，进而制定平台运营策略。因此，服务调用数据采集存储以及统计分析的高效性，是服务开放平台的一个关键技术实现。

现阶段，基于大数据技术对服务调用日志进行分析可以实现平台开发各服务调用情况的统计分析，在平台开放服务较多和服务调用者较多的并发量较大的场景下，对服务调用数据的实时性提出了更高的挑战，而现有实现往往牺牲时效性，来保证服务调用数据的准确性，无法提供高效、快速的服务调用情况统计分析。

发明内容

为了解决背景技术存在的服务调用情况分析时效性差的问题，本发明提供了一种基于服务开放平台的服务调用数据统计分析方法及系统，所述方法在服务调用数据采集端对服务调用情况进行日志记录，使用大数据实时计算框架对采集日志数据进行消费和访问记录叠加，保障服务调用统计情况的实时性和准确性；所述方法包括：

采集服务调用情况数据，所述采集方式包括UDP采集方式以及HTTP采集方式；

将以UDP采集方式采集的数据存储在分布式时序数据库中；

将以HTTP采集方式采集的数据传输至消息队列中间件，调用日志数据处理服务完成消息队列中间件中数据的分析，将分析后数据存入分布式事务数据库中；

依据用户输入的关健字查询，同时检测分布式事务数据库和分布式时序数据库，若所述分布式事务数据库统计分析数值大于或者等于分布式时序数据库统计分析数值，输出分布式事务数据库的查询结果，否则输出分布式时序数据库的查询结果。

进一步的，所述UDP采集方式包括：

读取服务调用采集数据类型；

对所读取到的所述服务调用采集数据类型设定服务调用采集数据配置，对服务调用日志进行过滤得到关注的服务调用情况；

解析过滤后服务调用日志，提取数据组装成约定格式的字符串，所述字符串包括度量的名称以及数值，设置所述数值的统计数据值类型。

进一步的，所述服务调用采集数据类型包括访问来源维度、服务接口API、统计度量、服务请求数量、特定用户服务请求数量、服务访问不同响应状态计数、服务访问不同响应状态不同用户计数以及服务访问唯一用户数；

所述访问来源维度包括用户和应用维度。

进一步的，所述统计数据值类型包括计数类型、计时类型以及集合类型，所述集合类型标识服务调用次数、服务调用耗时以及服务调用用户集合。