[发明专利]一种数据处理方法、系统、计算机设备及可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括如下步骤：

进行数据处理任务的任务配置；

根据任务配置加载数据处理任务，所述数据处理任务根据所述任务配置加载并初始化数据入口、数据管道以及数据出口，所述数据入口用以对外部数据进行监听，将监听到的数据写入内部队列；所述数据管道内具有拦截器链，所述数据管道根据任务配置构建数据处理核心逻辑，完成对拦截器链的初始化；所述数据出口用以根据任务配置构建数据出口核心逻辑，并与任务配置中的数据接收方进行建联；

启动调度器，将数据入口写入内部队列的数据组装成event提交线程池处理；

加载拦截器链，将event代入拦截器链，由拦截器链中的每个拦截器对组装成event的数据进行聚合加工；

聚合加工后的数据流向数据出口，由数据出口根据任务配置对外输出。

2.根据权利要求1所述的数据处理方法，其特征在于，数据处理任务的任务配置在后台管理系统中进行，数据处理任务的任务配置包括处理速度、最大重试次数、告警通知、调度周期以及数据处理核心逻辑的元数据。

3.根据权利要求2所述的数据处理方法，其特征在于，写入内部队列的数据组装成event后形成event队列，调度器根据调度周期定时调度，每次从event队列中获取一个event，将event与初始化数据入口、数据管道和数据出口组成执行器，所述执行器实现多线程，并提交至线程池处理。

4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理核心逻辑为：将event交至数据管道，当event在拦截器链中进行流转时，拦截器链中的每个拦截器均对组装成event的数据进行聚合加工处理。

5.根据权利要求4所述的数据处理方法，其特征在于，对组装成event的数据进行聚合加工处理的具体步骤包括：

获取组装成event的数据；

过滤入参：配置datafield，包括参与查询的参数；

入参别名映射：配置paramMapping，组装成event的数据的字段转换为接口所需的别名；

入参类型转换：配置typeMapping，指定原始类型和映射类型；

驼峰转换：配置toCamel，其中，toCamel中的boolean类型表示是否转换为驼峰；

下划线转换：配置toUnderscore，其中，toUnderscore中的boolean类型表示是否转换为下划线；

额外附加字段：配置extraField，其中，extraField中的key为附加的字段，value为默认值；

获取接口入参类型配置，判断参数类型是否自定义，如果为自定义类型，则使用处理完的参数map构建list，如果为多参数或非自定义类型，则根据入参配置依次取值构建list；

调用接口，获取返回值配置，判断返回值是否为包装类型，如果是，获取包装类型中的真实数据，如果不是，返回值本身即为真实数据；

获取返回值类型，如果返回值类型为map，获取配置的取值方式，根据指定的关键词回写数据，如果返回值类型为其他类型，直接取值并根据指定的关键词回写数据；如果返回值类型为pojo，过滤需要的字段数据后回写数据；

重复上述步骤，直至遍历拦截器链中的所有拦截器。

6.根据权利要求2所述的数据处理方法，其特征在于，对组装成event的数据进行聚合加工后，通过数据入口进入的消息进行ack应答，以确保数据的提供方正确响应处理结果；对组装成event的数据进行聚合加工后，对处理异常的数据进行fail应答，将数据回填内部队列，等待重试，重试次数不超过最大重试次数。

7.根据权利要求6所述的数据处理方法，其特征在于，最大重试次数仍然重试失败，则进行告警通知。

8.一种数据处理系统，其特征在于，所述数据处理系统采用权利要求1至6中任意一项所述的数据处理方法处理数据。