[发明专利]一种数据传输方法及装置

说明书

本发明公开了一种数据传输方法及装置，包括：生成方将待传输文本信息分词，确定多个词元素；针对任一词元素，根据词元素的字符串在字典索引图库中匹配词元素的字典坐标；字典索引图库是根据各文本信息构建的有向图形成的，有向图中节点间的有向边的连接次数小于设定阈值，至少一个表征多个词元素的节点是通过连接次数大于设定阈值的两个节点合并形成的；按照多个词元素在待传输文本信息中的顺序，生成具有字典索引图库的指示信息和至少一个词元素的字典坐标的压缩信息；将压缩信息发送至接收方；接收方用于根据指示信息将压缩信息还原成待传输文本信息。从而提高待传输文本信息的压缩效率，降低数据传输压力，提升数据传输效率。

技术领域

本发明涉及数据压缩领域，尤其涉及一种数据传输方法及装置。

背景技术

随着网络技术的进一步发展，需要进行网络传输的数据越来越多，尤其是随着区块链等分布式技术应用大规模的使用，更会带来传输和存储数据量的激增，对节点的存储空间、整个网络带宽的开销也会非常大。

现有技术中，生成方通过对数据进行压缩传输，以此来实现一定程度的提高数据的传输效率；目前压缩算法常采用哈夫曼算法(Huffman Coding)，流程如下：

S1、统计文本信息中各字符的重复出现次数；

S2、根据各字符的重复出现次数构建哈夫曼树；

S3、根据哈夫曼树确定出文本信息中各字符的二进制标识；

S4、根据各字符的二进制标识确定出表征文本信息的字符串。

一般来说，字符串的字节长度小于文本信息的字节长度，因此实现了文本信息的压缩。但此种压缩方式的压缩率不高，有待进一步提高。

在进行数据传输时，生成方将字符串和哈夫曼树发送给接收方，以使接收方可以根据哈夫曼树和字符串还原出文本信息，以此通过传输压缩后的字符串实现降低数据的传输效率。

但是现有技术中的方法中，是对各字符进行同等压缩，无法对固定范式的数据进行例外处理，如文本信息为“hello”，各字符包括“h”、“e”、“l”和“o”，每次压缩“hello”时，都对“h”、“e”、“l”和“o”进行压缩，无法对“hello”进行整体压缩，导致文本信息压缩效率低，传输压力大，传输效率有待进一步提高。

发明内容

本发明实施例提供一种数据传输方法及装置，用于提高文本信息的压缩效率，降低数据传输压力，提升数据传输效率。

第一方面，本发明实施例提供一种数据传输方法，包括：

生成方将待传输文本信息分词，确定多个词元素；

针对任一词元素，所述生成方根据所述词元素的字符串在字典索引图库中匹配所述词元素的字典坐标；所述字典索引图库是根据各文本信息构建的有向图形成的，所述有向图中节点间的有向边的连接次数小于设定阈值，至少一个表征多个词元素的节点是通过连接次数大于所述设定阈值的两个节点合并形成的；

所述生成方按照所述多个词元素在所述待传输文本信息中的顺序，生成具有所述字典索引图库的指示信息和至少一个词元素的字典坐标的压缩信息；

所述生成方将所述压缩信息发送至接收方；所述接收方用于根据所述指示信息将所述压缩信息还原成所述待传输文本信息。

上述技术方案中，通过将待传输文本信息分词，得到词元素，因为词元素中可以包括多个字符，如词元素为一个词组，以此实现固定范式的数据处理，而非针对单个字符，由此可以对多个字符进行整体压缩，提高文本信息的压缩效率，降低数据传输压力，提升数据传输效率。且通过将连接次数大于设定阈值的两个节点合并形成表征多个词元素的节点，可以进一步的对更多的字符进行整体压缩，进一步地提高文本信息的压缩效率，降低数据传输压力，提升数据传输效率。