[发明专利]一种数据存储方法、编码设备及解码设备

说明书

本发明公开了一种数据存储方法、编码设备及解码设备，其中，所述方法包括：获取待发送的数据，并将所述数据划分为多个数据块；从所述多个数据块中确定未在预设数据库中存储的目标数据块；将所述目标数据块按照流信息归类为至少一条流数据，并将所述流数据挂载至待确认队列中；对所述流数据进行编码，并向解码设备发送编码后的流数据；编码设备接收所述解码设备针对所述编码后的流数据发来的确认信息，并将所述待确认队列中所述确认信息对应的数据块存储至所述预设数据库中。本申请提供的技术方案，能够有效减少数据碎块的产生使得内存耗费资源可控、提高小数据流识别能力、以及避免同步产生以提高数据传输的效率。

技术领域

本发明涉及互联网技术领域，特别涉及一种数据存储方法、编码设备及解码设备。

背景技术

随着互联网的不断发展，互联网中的数据量也与日俱增。当前，在互联网中传输的数据有很多都是重复数据。例如邮件群发和即时通信软件中的消息群发等，都是将相同的数据拷贝很多份再进行传输，这样势必会浪费宝贵的带宽资源。

为了解决重复数据的传输问题，当前可以通过重复数据删除技术来减少网络中需要传输的数据量。具体地，重复数据删除技术可以在数据发送端和数据接收端均部署用于存放数据的数据库，数据库中的数据可以通过数据碎片的形式进行存储，并且每个数据碎片可以具备唯一的指针。当数据发送端需要向数据接收端发送数据时，首先会将待发送的数据划分为多个数据碎片，然后，如果这些数据碎片中已经有部分数据碎片存储于数据库中，那么便会将这部分数据碎片利用指针替代。这样，待发送的数据最终可以被处理为指针和数据碎片的组合，从而可以降低需要发送的数据量。数据接收端接收到指针和数据碎片的组合后，会从本地的数据库中查询指针对应的数据碎片，从而将指针恢复为数据碎片。

上述的通过指针恢复数据碎片的前提，是数据发送端和数据接收端的数据库保持同步。然而，在实际传输过程中，数据发生断流或者传输过程重启等问题会使得数据发送端和数据接收端的数据库无法保持数据同步，那么数据接收端很可能无法从本地的数据库中查询到指针对应的数据碎片，从而无法接收到完整的数据。此时，数据接收端会要求与数据发送端进行数据同步，这样会严重影响数据的传输性能。

发明内容

本申请的目的在于提供一种数据存储方法、编码设备及解码设备，能够有效减少数据碎块的产生使得内存资源耗费可控、提高小数据流识别能力、以及避免同步产生以提高数据传输的效率。

为实现上述目的，本申请一方面提供一种数据存储方法，所述方法包括：获取待发送的数据，并将所述数据划分为多个数据块；从所述多个数据块中确定未在预设数据库中存储的目标数据块；将所述目标数据块按照流信息归类为至少一条流数据，并将所述流数据挂载至待确认队列中；对所述流数据进行编码，并向解码设备发送编码后的流数据；接收所述解码设备针对所述编码后的流数据发来的确认信息，并将所述待确认队列中所述确认信息对应的数据块存储至所述预设数据库中。

为实现上述目的，本申请另一方面还提供一种编码设备，所述编码设备包括存储器和处理器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时，实现以下步骤：获取待发送的数据，并将所述数据划分为多个数据块；从所述多个数据块中确定未在预设数据库中存储的目标数据块；将所述目标数据块按照流信息归类为至少一条流数据，并将所述流数据挂载至待确认队列中；对所述流数据进行编码，并向解码设备发送编码后的流数据；接收所述解码设备针对所述编码后的流数据发来的确认信息，并将所述待确认队列中所述确认信息对应的数据块存储至所述预设数据库中。

为实现上述目的，本申请另一方面还提供一种数据存储方法，所述方法包括：接收编码设备发来的编码数据，并将所述编码数据解码为解码数据，所述解码数据中包括多个数据块；将所述多个数据块按照流信息归类为至少一条流数据，并确定数据量大于或者等于指定阈值的目标流数据；在预设数据库中存储所述目标流数据，并向所述编码设备发送确认信息，所述确认信息中包含所述目标流数据中的数据块的标识，以使得所述编码设备存储所述目标流数据中的数据块。