[发明专利]大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质

权利要求书

1.一种大体积数据的传输方法，应用于第一网络，其特征在于，所述方法包括：

响应于监听到KAFKA中的简易消息，根据所述简易消息中包含的地址从预置的数据库中获取对应的大体积数据，所述地址为所述大体积数据在所述数据库中的地址；

整合所述简易消息和所述大体积数据，得到全量消息；

传输根据所述全量消息得到的待传输数据。

2.根据权利要求1所述的方法，其特征在于，所述传输根据所述全量消息得到的待传输数据包括：

获取所述全量消息；

将所述全量消息序列化为二进制对象，得到FTP/SFTP协议的数据，将得到的FTP/SFTP协议的数据作为待传输数据；

传输所述待传输数据。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取图像采集设备的信息，所述大体积数据是由所述图像采集设备中的至少一个目标图像采集设备采集的；

根据所述图像采集设备的信息生成第一FTP/SFTP服务器的文件目录。

4.根据权利要求3所述的方法，其特征在于，所述简易消息还包括所述目标图像采集设备的信息；

所述传输根据所述全量消息得到的待传输数据包括：

将所述待传输数据写入第一FTP/SFTP服务器的目标文件目录，所述目标文件目录为与所述目标采集设备的信息对应的文件目录。

5.一种大体积数据的传输方法，应用于第二网络，其特征在于，所述包括：

获取外部系统发送的数据拉取请求，所述数据拉取请求包括所要请求的大体积数据对应的目标采集设备的信息；

根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据；所述目标文件目录为与所述目标采集设备的信息对应的文件目录，所述待传输数据是由权利要求1-4中任一项所述的方法传输至所述第二FTP/SFTP服务器的目标文件目录的；

将根据所述待传输数据得到的响应数据响应给所述外部系统。

6.根据权利要求5所述的方法，所述根据所述数据拉取请求从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据，包括：

解析、封装所述数据拉取请求得到中间请求，将所述中间请求放入第一队列；

响应于第一循环模块从所述第一队列获取了所述中间请求，从第二FTP/SFTP服务器的目标文件目录中获取与所述大体积数据对应的待传输数据。

7.根据权利要求5所述的方法，所述将根据所述待传输数据得到的响应数据响应给所述外部系统，包括：

根据所述待传输数据得到中间数据；

将所述中间数据放入第二队列；

响应于第二循环模块从所述第二队列获取了所述中间数据，将所述中间数据转换为所述外部系统所需协议的响应数据，发送给所述外部系统。

8.一种大体积数据的传输系统，其特征在于，包括位于第一网络的第一大体积数据传输系统和第一FTP/SFTP服务器；

位于第二网络的第二大体积数据传输系统和第二FTP/SFTP服务器；

以及用于在第一网络和第二网络之间进行数据传输的网闸；

所述第一大体积数据传输系统用于使用权利要求1-4任一项所述的方法将根据所述大体积数据得到的待传输数据传输至所述第一FTP/SFTP服务器；

所述网闸用于将所述待传输数据从所述第一FTP/SFTP服务器的文件目录摆渡至第二FTP/SFTP服务器的对应文件目录；

所述第二大体积数据传输系统用于使用权利要求5-7任一项所述的方法从所述第二FTP/SFTP服务器的对应目录获取所述待传输数据，并将由所述待传输数据得到的响应数据响应给所述外部系统。