[发明专利]一种大数据分组传输方法

说明书

本申请公开了一种大数据分组传输方法，包括：MEC节点获取接入终端发送的第一HTTP/2消息；MEC节点基于CA证书对HTTP/2请求消息进行认证，并在认证成功后，将第一HTTP/2消息透发至云存储节点；云存储节点设置第一独立存储空间，并将第一数据包存储至第一独立存储空间；云存储节点接收第N个HTTP/2消息，第N个HTTP/2消息中包含有第N个数据包，其中第N个数据包中具备第N‑1待处理数据；将第N‑1待处理数据存储至第一独立存储空间，并将第一起始标识符、第一待处理数据及第N‑1待处理数据按照第一索引表定义的顺序，拼接成第一应用消息，并在第一应用消息中添加链式存储的第一区块数据，第一区块数据用于对第一应用消息进行防篡改保护。

技术领域

本申请涉及数据处理技术领域，尤其涉及大数据分组传输方法。

背景技术

大数据，是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据存储在云端，由多个云存储节点进行存储，但是海量的数据对于大数据的数据存储而言是一个极大的挑战，尤其是接收到分组的数据包时，需要预先将该分组数据包按照队列方式存储至云存储节点的缓存中，若该缓存不能及时释放，会造成大数据内存溢出等异常情况，从而导致应用消息接收失败。此外，在数据分组传输过程中分帧数据极易被入侵或篡改，应用消息本身的安全性也无法保证。

发明内容

本申请实施例提供一种大数据分组传输方法，用于解决现有技术中大数据存储溢出导致应用消息接收失败、应用消息安全性低的问题。

本发明实施例提供一种大数据分组传输方法，包括：

多边缘计算MEC节点获取接入终端发送的第一HTTP/2消息，所述HTTP/2消息中包含所述接入终端ID、第一数据包及数字认证CA证书，且所述第一数据包中具备第一索引表及第一起始标识符，所述第一起始标识符为第一应用消息的起始标识符；

所述MEC节点基于所述CA证书对所述HTTP/2请求消息进行认证，并在认证成功后，将所述第一HTTP/2消息透发至云存储节点；

所述云存储节点设置第一独立存储空间，并将所述第一数据包存储至所述第一独立存储空间，其中所述第一独立存储空间与所述云存储节点其余存储空间相隔离；

所述云存储节点接收所述MEC节点认证成功并透发的第二HTTP/2消息，所述第二HTTP/2消息中包含有第二数据包，其中所述第二数据包中具备第一待处理数据；

所述云存储节点提取所述第一待处理数据，并基于所述第一索引表，判断所述第一待处理数据是否属于所述第一应用消息的分帧数据；

当所述云存储节点判断出所述第一待处理数据属于第一应用消息的分帧数据时，将所述第一待处理数据存储至所述独立存储空间；

所述云存储节点接收所述MEC节点认证成功并透发的第N个HTTP/2消息，所述第N个HTTP/2消息中包含有第N个数据包，其中所述第N个数据包中具备第N-1待处理数据，所述N为大于3的自然数；

所述云存储节点提取所述第N-1待处理数据，并基于所述第一索引表，判断所述第一待处理数据是否属于所述第一应用消息的分帧数据，且属于所述第一应用消息的最后一个数据帧；

所述云存储节点将所述第N-1待处理数据存储至所述第一独立存储空间，并将所述第一起始标识符、第一待处理数据及第N-1待处理数据按照所述第一索引表定义的顺序，拼接成所述第一应用消息，并在所述第一应用消息中添加链式存储的第一区块数据，所述第一区块数据用于对所述第一应用消息进行防篡改保护；