[发明专利]分布式数据的完整性检测方法和装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种分布式数据的完整性检测方法和装置。

背景技术

在实时数据处理系统中，分布式数据会从数据发送服务器端不断地发送至数据接收服务器，在发送过程中可能会存在各种各样的原因导致数据接收服务器接收到的数据不完整，比如数据接收服务器只接收到部分数据或者没有接收到数据等。因此，验证分布式数据的完整性以及找到造成分布式数据不完整的原因已经成为关键问题。目前，现有技术还不能验证数据接收服务器接收到的分布式数据是否是完整数据，也不能对造成分布式数据不完整的原因进行分析，无法保证接收到的分布式数据的完整性和准确性。

针对现有技术无法验证分布式数据的完整性的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种分布式数据的完整性检测方法和装置，以解决现有技术无法验证分布式数据的完整性的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种分布式数据的完整性检测方法。

该分布式数据的完整性检测方法包括：初始化数据期望列表，其中，数据期望列表用于存储接收的数据的时间戳，数据期望列表的初始化状态为空列表；接收数据发送服务器发送的数据，其中，数据中包括第一时间戳和第一标识，第一时间戳为数据发送服务器发送的数据中携带的时间戳，第一标识为数据发送服务器的标识；判断第一时间戳在数据期望列表中是否存在；如果判断出第一时间戳在数据期望列表中存在，将数据发送服务器列表中的第一标识删除，数据发送服务器列表为用于存储数据发送服务器的标识的列表；判断数据发送服务器列表中的数据发送服务器的标识是否已经全部删除；如果判断出数据发送服务器列表中的数据发送服务器的标识已经全部删除，确定接收到的时间戳对应的数据完整。

进一步地，在接收数据发送服务器发送的数据之前，该分布式数据的完整性检测方法还包括：数据发送服务器确定待发送数据所处的时间段；数据发送服务器对待发送数据打上时间段的时间戳，其中，时间段的时间戳为数据发送服务器和数据接收服务器预先约定的时间戳；数据发送服务器将携带有时间戳的待发送数据发送至数据接收服务器。

进一步地，在判断第一时间戳在数据期望列表中是否存在之后，该分布式数据的完整性检测方法还包括：如果判断出第一时间戳在数据期望列表中不存在，判断数据期望列表是否为空列表；如果判断出数据期望列表为空列表，在数据期望列表中添加第一时间戳和第一时间戳对应的数据的到达时间，并将数据发送服务器列表中的第一标识删除；如果判断出数据期望列表不为空列表，判断第一时间戳是否大于数据期望列表中时间戳的最大值；如果判断出第一时间戳大于数据期望列表中时间戳的最大值，将第一时间戳与最大值之间的时间戳添加到数据期望列表中，并将第一时间戳对应的数据的到达时间分别添加到数据期望列表中第一时间戳与最大值之间的时间戳的对应处。

进一步地，在判断出数据期望列表不为空列表之后，该分布式数据的完整性检测方法还包括：判断第一时间戳是否小于数据期望列表中的时间戳的最小值；如果判断出第一时间戳小于数据期望列表中的时间戳的最小值，将第一时间戳对应的数据记录为延迟数据；将延迟数据存入延迟日志表中，其中，延迟日志表用于存储延迟数据。

进一步地，在将第一时间戳与最大值之间的时间戳添加到数据期望列表中，并将第一时间戳对应的数据的到达时间分别添加到数据期望列表中第一时间戳与最大值之间的时间戳的对应处之后，该分布式数据的完整性检测方法还包括：设置第一预设时间间隔；判断计时时间是否达到第一预设时间间隔；如果判断出计时时间达到第一预设时间间隔，分别判断数据期望列表中每个时间戳对应的数据的到达时间与数据接收服务器的时间之间的差值是否大于第二预设时间间隔，其中，第二预设时间间隔不同于第一预设时间间隔；如果判断出数据期望列表中的时间戳对应的数据的到达时间与数据接收服务器的时间之间的差值大于第二预设时间间隔，将数据期望列表中的时间戳和时间戳对应的数据发送服务器的标识存入延迟日志表中；将数据期望列表中的时间戳删除。

为了实现上述目的，根据本发明的另一方面，提供了一种分布式数据的完整性检测装置。