[发明专利]数据处理方法和装置

说明书

本发明实施例公开了一种数据处理方法和装置，通过按顺序确定待处理任务，并按照接收顺序依次确定各待处理任务对应的任务类型，以及为各待处理任务分配对应的时间戳。根据对应的时间戳和任务类型依次处理各待处理任务。其中，待处理任务的任务类型为查询任务时，先拆分各待处理任务得到多个子任务，再分别根据对应的时间戳分别处理各子任务。本发明实施例基于时间戳和任务类型处理任务，保证了频繁任务处理时的有序性和数据一致性。同时，通过将查询任务拆分为多个子任务处理的方式应对复杂的查询场景。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

现有的任务处理系统目前都是针对某一特定场景或者某类单一数据的查询或编辑。比如基于传统的关系型数据库实现的任务处理系统是对结构化数据的读写和检索，基于Lucene或ElasticSearch等任务处理引擎实现的对文本的全文任务处理技术。这些任务处理系统能够覆盖的任务处理场景相对比较单一，无法满足一些复杂的任务处理需求。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法和装置，旨在应对复杂场景下的任务处理，同时保证了频繁任务处理时的有序性和数据一致性。

第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：

按顺序确定待处理任务；

分别确定各所述待处理任务对应的任务类型；

根据确定顺序依次为各所述待处理任务分配对应的时间戳；

根据对应的时间戳和任务类型依次处理各所述待处理任务；

其中，所述根据对应的时间戳和任务类型依次处理各所述待处理任务包括：

响应于所述待处理任务对应的任务类型为查询任务，拆分所述待处理任务得到多个子任务；

根据对应的时间戳分别处理各所述子任务，各所述子任务的处理方式为通过多线程并行处理。

进一步地，所述分别确定各所述待处理任务对应的任务类型包括：

确定各所述待处理任务对应的数据库语言；

响应于所述数据库语言为数据操控语句或数据定义语句，确定所述待处理任务为编辑任务；

响应于所述数据库语言为数据查询语句，确定所述待处理任务为查询任务。

进一步地，所述根据对应的时间戳和任务类型依次处理各所述待处理任务还包括：

响应于对应的任务类型为编辑任务，根据对应的时间戳顺序将所述待处理任务记录在任务日志中；

依次处理所述任务日志中的各所述编辑任务。

进一步地，所述依次处理所述任务日志中的各所述编辑任务包括：

确定任务日志中最先记录的待处理编辑任务为目标编辑任务；

确定目标编辑任务对应的至少一个数据对象；

为各所述数据对象分别分配对应的线程；

通过各所述线程并行执行所述目标编辑任务，以分别编辑对应的数据对象。

进一步地，各所述数据对象具有对应的时间状态；

所述依次处理所述任务日志中的各所述编辑任务还包括：

响应于对应的数据对象编辑完成，根据所述目标编辑任务的时间戳更新所述数据对象的时间状态。

进一步地，所述方法还包括：

以预设频率查询所述任务日志中最近一次记录的编辑任务对应的时间戳；