[发明专利]大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质

说明书

本申请提供了一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，涉及数据传输领域。该方法包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。本发明实施例能够在KAFKA发生数据堆积的情况下依然保持一定的数据传输速度，从而提高数据传输系统的鲁棒性。

技术领域

本申请涉及数据传输技术领域，具体而言，本申请涉及一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质。

背景技术

目前，在治安监控领域，常将图像采集设备采集的图像数据作为消息发布在KAFKA中，由消费者去KAFKA中获取消息。当KAFKA中的消息体积较大或消息生产的速度过快时，KAFKA会被消息填满而发生数据堆积，从而导致数据传输速度减慢的情况。

发明内容

有鉴于此，本发明的目的在于提供一种大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质，能够在KAFKA中发生数据堆积的情况下依然保持一定的数据传输速度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种大体积数据的传输方法，应用于第一网络，包括：响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；整合所述简易消息和所述大体积数据，得到全量消息；传输根据所述全量消息得到的待传输数据。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述传输根据所述全量消息得到的待传输数据包括：获取所述全量消息；将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；传输所述待传输数据。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述简易消息还包括所述目标图像采集设备的信息；所述传输根据所述全量消息得到的待传输数据包括：将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。

第二方面，本发明实施例提供了一种大体积数据的传输方法，应用于第二网络，包括：获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；将根据所述待传输数据得到的响应数据响应给所述外部系统。

进一步，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。