[发明专利]复杂表单数据的处理方法、系统、装置及计算机可读介质

说明书

本发明涉及一种复杂表单数据的处理方法、系统、装置及计算机可读介质。方法包括：获取目标数据库的数据库变更消息，所述目标数据库包括目标表单；从所述数据库变更消息中提取所述目标表单的数据变更消息；对所述数据变更消息进行去重复处理，当所述数据变更消息满足去重复窗口的要求时，产生一次触发事件；以及响应于所述触发事件，基于所述目标表单中的目标数据执行预设计算。本发明的复杂表单数据的处理方法基于目标表单的表单值ID对目标表单的数据变更消息进行去重复处理，根据去重复后的表单计算报表结果，大大降低了计算量，节省了资源，提高了计算结果的实时性。

技术领域

本发明主要涉及计算机技术领域，具体地涉及一种复杂表单数据的处理方法、系统、装置及计算机可读介质。

背景技术

数据库内的数据在应用过程中不断发生变化，为了使得业务系统能够及时根据数据库中的数据变更做出响应，需要及时对变更后数据进行计算。

目前常用的计算表单数据的处理方法是定时进行离线全量或者离线增量的计算。主要采用任务调度器定时调度起计算任务，进行所有表单数据报表的全量计算，或者进行增量变化的表单数据报表计算。以临床研究电子数据采集系统(EDC)的表单数据点状态统计报表来举例，定时全量计算所有的表单数据，一次全量调度需要计算近7000万张表单的数据点统计，调度周期达到天级别；一次增量调度也需要计算百万级级别的表单数据点，调度周期达到小时级别。以定时进行全量或者增量的计算，调度的周期固定，计算结果的实时性比较差。由于同时调度计算所有待计算的数据，因此计算比较集中在某个时间段，不能充分利用机器的计算能力。

因此，亟需一种轻量计算的复杂表单数据的处理方法，提高表单数据计算结果的实时性。

发明内容

本发明所要解决的技术问题是提供一种复杂表单数据的处理方法、系统、装置及计算机可读介质，解决复杂表单数据的计算复杂度高的问题。

为了解决上述技术问题，本发明提供一种复杂表单数据的处理方法，方法包括：获取目标数据库的数据库变更消息，所述目标数据库包括目标表单；从所述数据库变更消息中提取所述目标表单的数据变更消息；对所述数据变更消息进行去重复处理，当所述数据变更消息满足去重复窗口的要求时，产生一次触发事件；以及响应于所述触发事件，基于所述目标表单中的目标数据执行预设计算。

在本发明的一实施例中，所述去重复窗口包括时长窗口，所述时长窗口用于设置预设时长，所述当所述数据变更消息满足去重复窗口的要求时，产生一次触发事件的步骤包括：当从所述数据库变更消息中提取所述数据变更消息的时长达到所述预设时长时，产生一次触发事件。

在本发明的一实施例中，所述去重复窗口包括计数窗口，所述计数窗口用于设置预设计数值，所述当所述数据变更消息满足去重复窗口的要求时，产生一次触发事件的步骤包括：当所述数据变更消息的数量达到所述预设计数值时，产生一次触发事件。

在本发明的一实施例中，所述目标数据库还包括多个关系表单，每个所述关系表单与所述目标表单相关联，从所述数据库变更消息中提取所述目标表单的数据变更消息的步骤之后还包括：提取所述多个关系表单的关系数据变更消息，所述数据变更消息包括所述关系数据变更消息，所述目标数据包括所述关系表单中的数据。

在本发明的一实施例中，每个所述目标表单包括表单值ID，每个所述关系表单以所述表单值ID作为所述关系表单的外键，从所述数据库变更消息中提取所述目标表单的数据变更消息的步骤包括：根据所述外键提取所述关系表单，将所述关系表单的关系数据变更消息作为所述目标表单的数据变更消息。

在本发明的一实施例中，获取目标数据库的数据库变更消息的步骤包括：监听所述目标数据库的binlog日志。

在本发明的一实施例中，对所述数据变更消息进行去重复处理的步骤包括：采用事件处理引擎对所述数据变更消息进行去重复处理。

在本发明的一实施例中，所述事件处理引擎包括esper。