[发明专利]一种基于消息队列的任务创建方法及装置

说明书

本发明提供的一种基于消息队列的任务创建方法，包括：当接收到参数消息后，判断参数消息的长度是否超过预设的长度阈值；若超过预设的长度阈值，将所述参数消息切割为多组数据，其中，切割后的每组数据的长度不超过所述预设的长度阈值；将切割后的每组数据存储到消息队列中；创建与消息队列中的每组数据对应的第一任务。这样保证了创建任务可以不受参数长度限制，即任何长度的参数消息均可以存储到消息队列中，并通过创建相应的任务，对数据进行处理。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于消息队列的任务创建方法及装置。

背景技术

“消息队列”是在消息的传输过程中保存消息的容器，分布式应用中，经常会借助消息队列实现各程序之间的通信。例如，RabbitMQ、Azure Storage的queue(消息队列)。

但是，一般消息队列对每条消息的长度都是有限制的，若传递的消息的长度超过了消息队列允许的长度上限，接口逻辑内是无法将超过一定字节数的参数放到队列中并创建与之相关联的任务的。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于消息队列的任务创建方法及装置。

为了实现上述发明目的，本发明提供的具体技术方案如下：

本发明实施例公开了一种基于消息队列的任务创建方法，包括：

当接收到参数消息后，判断所述参数消息的长度是否超过预设的长度阈值；

若超过预设的长度阈值，将所述参数消息切割为多组数据，其中，切割后的每组数据的长度不超过所述预设的长度阈值；

将切割后的每组数据分别存储到消息队列中；

创建与消息队列中的每组数据对应的第一任务。

可选的，在将所述参数消息切割为多组数据之前，所述方法还包括：

创建用于将所述参数消息切割为多组数据的第二任务，所述第二任务与所述第一任务之间的任务层级关系为父子关系。

可选的，所述将所述参数消息切割为多组数据，包括：

获取预设切割单位，所述预设切割单位小于或等于所述预设的长度阈值；

基于所述预设切割单位，将所述参数消息切割为多组数据。

可选的，所述参数消息为多条，所述将所述参数消息切割为多组数据，包括：

在多条参数消息中，确定长度最长的参数消息；

获取预设的长度阈值；

计算采用所述预设的长度阈值，对所述长度最长的参数消息进行切割，得到的数据组数，并将所述数据组数确定为每条参数消息的切割组数；

根据每条参数消息的长度和所述切割组数，计算每条参数消息的实际切割单位；

基于所述实际切割单位，将每条参数消息切割为多组数据。

可选的，所述参数消息为多条，所述将所述参数消息切割为多组数据，包括：

在多条参数消息中，确定长度最长的参数消息；

获取预设的长度阈值；

基于所述预设的长度阈值，对所述长度最长的参数消息进行切割，得到多组数据，并将切割后的多组数据的数据组数确定为每条参数消息的切割组数；

根据每条参数消息的长度和所述切割组数，计算每条参数消息的实际切割单位；

基于所述实际切割单位，将所述长度最长的参数消息之外的剩余每条参数消息切割为多组数据。