[发明专利]数据处理系统及方法

说明书

本发明提供数据处理系统及方法，其中所述数据处理系统包括：业务服务端和数据处理端；所述业务服务端，被配置为获取目标业务对应的数据处理任务；根据所述数据处理任务创建数据处理包，并将所述数据处理包发送至所述数据处理端；所述数据处理端，被配置为接收所述数据处理包；通过对所述数据处理包进行解析获得结构化信息；采集所述目标业务关联的初始数据，并按照所述结构化信息对所述初始数据进行处理，获得目标数据；将所述目标数据回传至所述业务服务端。

技术领域

本说明书涉及计算机技术领域，特别涉及数据处理系统及方法。

背景技术

随着互联网技术的发展，线上业务成为了大多数业务方主要开展的对象；而由于线上业务的特性，通常都会由多个数据处理节点配合完成，如数据采集节点、数据处理节点和数据存储节点相互配置以支持存储业务运行，实现向用户提供相应的存储服务。而各个节点之间所传输的数据是支持业务运行的基础；通常情况下，数据的采集和处理都是与业务相贴合的，而节点在获得上游下发的数据后，都需要对接收到的数据进行处理，以完成预置的处理任务，再发送给下游节点进行处理；在此过程中，由于数据缺乏采集和处理规范，从数据的格式到数据的大小都没有合理的限制，这就导致各个节点需要提供额外的计算资源对上游节点下发的数据进行处理，因此亟需一种有效的方案以解决上述问题。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理系统。本说明书同时涉及一种数据处理方法，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理系统，包括：

业务服务端和数据处理端；

所述业务服务端，被配置为获取目标业务对应的数据处理任务；根据所述数据处理任务创建数据处理包，并将所述数据处理包发送至所述数据处理端；

所述数据处理端，被配置为接收所述数据处理包；通过对所述数据处理包进行解析获得结构化信息；采集所述目标业务关联的初始数据，并按照所述结构化信息对所述初始数据进行处理，获得目标数据；将所述目标数据回传至所述业务服务端。

可选地，所述业务服务端，进一步被配置为：

接收业务处理请求，并根据所述业务处理请求创建所述数据处理任务；按照所述数据处理任务构建所述结构化信息，并通过业务代码生成所述结构化信息对应的所述数据处理包。

可选地，所述业务服务端，进一步被配置为：

根据所述业务处理请求确定数据信息、字段信息以及类型信息；基于所述数据信息、所述字段信息以及所述类型信息创建所述数据处理任务。

可选地，所述数据处理端，进一步被配置为：

根据所述结构化信息确定所述数据信息、所述字段信息和所述类型信息；按照所述数据信息、所述字段信息和所述类型信息对所述初始数据进行处理，根据处理结果获得所述目标数据。

可选地，所述数据处理端，进一步被配置为：

基于所述结构化信息对所述初始数据进行校验获得校验数据；对所述校验数据进行字段值设置，获得中间数据；通过对所述中间数据进行序列化处理，获得所述目标数据。

可选地，所述数据处理端，进一步被配置为：

将所述目标数据添加至数据处理列表；在所述目标数据满足回传条件的情况下，在所述数据处理列表中提取所述目标数据，并基于地址调用策略将所述目标数据回传至所述业务服务端；其中，所述数据处理列表将按照预设的缓存条件对所述目标数据进行缓存处理。

可选地，所述数据处理端，进一步被配置为：