[发明专利]基于数据采集的数据处理方法和装置

说明书

本申请公开了一种基于数据采集的数据处理方法和装置。该方法包括：通过针对不同的业务匹配不同的业务系统进行数据的采集，在不同的业务系统中引入不同的行为ID，根据行为ID对采集的得到的目标采集数据进行分类处理，解决了现有技术中的存在如何实现精准采集用户数据并关联用户行为的技术问题，提高了对采集数据进行分析效率，提高决策效率。

技术领域

本申请涉及计算机领域，具体而言，涉及一种基于数据采集的数据处理方法与装置。

背景技术

现有技术中，随着微服务架构模型的广泛应用，存在越来越多的服务产生不同的业务数据，在微服务错综复杂的场景下传统做法更关注业务属性，而没有对用户行为进行归类，采集的用户数据很多没有关联到用户的行为阶段例如授信、消费、借款等，并且随着数据量的增大无法支持实时计算，导致无法针对用户数据给出对应的策略。

因此，现有技术中存在如何实现精准采集用户数据并关联用户行为的技术问题。

发明内容

本申请的主要目的在于提供一种基于数据采集的数据处理方法与装置，通过对待采集数据进行识别，针对不同的待采集数据匹配不同的业务系统进行数据的采集，通过行为ID实现基于用户行为对待采集数据进行分类，解决现有技术中存在如何实现精准采集用户数据并关联用户行为的技术问题。

为了实现上述目的，本申请提出一种基于数据采集的数据处理方法。

本申请的第二方面，提出一种基于数据采集的数据处理装置。

本申请的第三方面，提出一种一种计算机可读存储介质。

本申请的第四方面，提出一种电子设备。

有鉴于此，根据本申请的第一方面，提出一种基于数据采集的数据处理方法，包括：识别到数据采集请求时，识别所述数据采集请求对应的待采集数据；在预设系统数据库中匹配与所述待采集数据对应的业务系统；根据所述业务系统中的数据采集规则，异步执行数据采集操作，获得所述目标采集数据；识别所述目标采集数据中的行为ID，根据所述行为ID对所述目标采集数据进行分类，获得分类结果数据。

进一步地，基于所述待采集数据，匹配与所述待采集数据对应的业务系统，包括：对所述待采集数据进行识别，获得所述待采集数据的数据类型；在所述预设系统数据库中匹配与所述数据类型对应的业务系统，包括：若所述待采集数据为客户端数据，在所述预设系统数据库中匹配与客户端对应的第一业务系统，其中，在所述预设系统数据库中预先存储有客户端与第一业务系统的映射关系；若所述待采集数据为服务端数据，在所述预设系统数据库中匹配与客户端对应的第二业务系统，其中，在所述预设系统数据库中预先存储有服务端与第二业务系统的映射关系。

进一步地，若所述待采集数据为服务端数据，在所述预设系统数据库中匹配与客户端对应的第二业务系统，包括：当所述待采集数据为服务端数据时，识别所述待采集数据的业务类型；基于所述业务类型，在所述预设系统数据库中匹配与所述业务类型对应的业务系统。

进一步地，识别所述目标采集数据中的行为ID，根据所述行为ID对所述目标采集数据进行分类，获得分类结果数据，包括：

基于预设行为ID，结合预设行为分类规则，对所述目标采集数据进行分类处理，得到基于不同预设行为ID的分类结果数据。

进一步地，在识别到数据采集请求前，还包括：基于不同的用户行为，生成所述用户行为对应的行为ID；基于所述行为ID，对基于所述用户行为产生的用户数据进行处理，获得具有所述行为ID的待采集数据。

进一步地，根据所述业务系统中的数据采集规则，异步执行数据采集操作，获得所述目标采集数据之后，在基于预设行为ID，对所述目标采集数据进行分类处理，获得所述分类结果数据之前，还包括：对所述异步执行数采集操作进行监控，确定预设时间内的数据采集情况；记录所述预设时间内的数据采集失败次数，若所述失败次数触发预设阈值时，生成告警提示。