[发明专利]一种工业物联网用对大数据传输的处理方法

说明书

本发明公开了一种工业物联网用对大数据传输的处理方法，涉及数据传输技术领域，所述处理方法包括以下步骤：S101：通过MQTT协议使终端与服务端之间协商文件上传的SFTP地址和相关访问账号；S102：终端接受MQTT请求响应的地址信息后，使用SFTP协议发送数据文件进行上传；S103：服务端接收到数据文件之后进行解析处理，并以MQTT消息通知终端接收结果，相比于现有技术，本发明使用MQTT和SFTP相结合的方式，通过MQTT发送指令请求，通过SFTP以数据包的方式上传至服务器进行解析处理，解决Socket长链接占用资源的问题，因SFTP协议本身具备数据包完整传输的机制，所以该方式可以解决数据传输确认流程的繁杂度。

技术领域

本发明涉及数据传输技术领域，尤其涉及到一种工业物联网用对大数据传输的处理方法。

背景技术

当前物联网的数据传输普遍使用的是MQTT协议，该协议的适用场景是窄带宽情况下的小数据量传输，不适合大数据传输，使用Socket长连接传输大数据，该方式应用也比较广泛，服务器需要维持大量的长链接，所以对服务器资源有较高的要求，长链接对网络带宽和稳定性也有较高的要求，处理数据传输需要在应用层上做复杂的业务处理，确认数据送达，增加了业务逻辑的复杂度，使用madbus+ftp协议的主从方式，服务器作为数据传输的主端，设备作为数据传输的从端，由服务器主动访问设备下载数据文件，设备作为从端被动处理，该方式可以在局域网中的设备上应用，因局域网设备的IP地址可寻，所以主端服务器可主动找到设备地址。但在广域网物联网应用中，设备IP地址是可变的、不确定的，服务器很难主动获取设备的IP。其次，该方案只允许有一个服务器作为客户端，那么客户端获取设备的上限瓶颈就很难解决大。

为此，本发明公开了一种工业物联网用对大数据传输的处理方法，相比于现有技术，本发明使用MQTT和SFTP相结合的方式，通过MQTT发送指令请求，通过SFTP以数据包的方式上传至服务器进行解析处理，解决Socket长链接占用资源的问题，因SFTP协议本身具备数据包完整传输的机制，所以该方式可以解决数据传输确认流程的繁杂度。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种工业物联网用对大数据传输的处理方法，相比于现有技术，本发明使用MQTT和SFTP相结合的方式，通过MQTT发送指令请求，通过SFTP以数据包的方式上传至服务器进行解析处理，解决Socket长链接占用资源的问题，因SFTP协议本身具备数据包完整传输的机制，所以该方式可以解决数据传输确认流程的繁杂度。

本发明是通过以下技术方案实现的：一种工业物联网用对大数据传输的处理方法，处理方法包括以下步骤：

步骤一：通过MQTT协议使终端与服务端之间协商文件上传的SFTP地址和相关访问账号；

步骤二：终端接受MQTT请求响应的地址信息后，使用SFTP协议发送数据文件进行上传；

步骤三：服务端接收到数据文件之后进行解析处理，并以MQTT消息通知终端接收结果。

优选地，终端通过MQTT协议请求上传数据文件，数据文件排队进行等待，拉取空闲个数的排队记录，根据ftp server节点和空闲资源数生成指令，下发指令，依据终端把指令放到对应的topic，终端请求SFTP协议接受订阅的数据文件,在下发指令的同时添加上传数据文件的记录，获取上传的个数文件进行。

优选地，在步骤S101中，对上传的SFTP地址和相关访问账号进行统计处理，所述统计处理的步骤包括：

S1011：数据文件排队进行等待，拉取空闲个数的排队记录；

S1012：根据ftp server节点和空闲资源数生成指令；

S1013：添加上传记录；

S1014：获取上传记录，定时扫描，计算每个ftp server节点的空闲数，计算是否超出限制；