[发明专利]一种基于深度学习的界标数据压缩传输方法及装置

说明书

本发明公开一种基于深度学习的界标数据压缩传输方法及装置，方法包括：获取初始界标数据以及实际界标数据集；根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；对所述待压缩界标数据集进行离散处理；采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。本发明解决了现有技术中界标数据压缩方法压缩率不高的技术问题。

技术领域

本发明涉及数据传输技术领域，具体涉及一种基于深度学习的界标数据压缩传输方法、装置、设备及存储介质。

背景技术

界标表示某个地界标识，由于界标在使用时数量非常巨大，使用过于孤立混乱，存在着难以维护的问题，需要耗费大量的人力物力对其进行定期检查维护，传统的界标只起到一种视觉提醒的作用，并不能检测自身以及周边情况，随着传感器工艺、数据采集系统以及互联网技术的发展，可将传感器、数据采集系统以及云技术应用于界标中，实现一定程度上的智能化，并且能根据实际的应用场景对周边活动起到一种预警作用。

传感器、数据采集系统采集的界标数据需要传输至分析平台后，才能实现对界标数据的监控，目前由于一条线路上的传感器或采集设备较多，进行线路查询时，传输的字节数较多，串口传输时间较长，越靠近主站的设备耗电量越大，例如某条线路中有50个设备进行一次线路查询时所消耗的电能为16.2mW*h，一年所消耗的电能为17739mW*h，在此情况下系统一年中传输数据所消耗的电能比较大。为了设备能在野外环境中工作一年的时间，需要压缩待传输数据，减少数据传输时间，达到降低能耗的目的。

在日常的生活中使用的压缩工具大多将多种压缩编码算法组合使用并进行优化处理，使用单独的压缩算法比较少见，例如Gzip压缩方法是利用LZ77算法的一种变种进行压缩，对得到的结果再使用静态或者动态哈夫曼编码的方法进行压缩；LZAM压缩方法是结合使用Deflate算法和LZ77算法改良和优化后的压缩算法；但是面对大数据时代的数据处理，传统的数据压缩方法压缩率不高，无法满足实时界标数据压缩的处理要求，导致界标数据的传输时间过长，传输速率不高。

发明内容

本发明的目的在于克服上述技术不足，提供一种基于深度学习的界标数据压缩传输方法、装置、设备及存储介质，解决现有技术中界标数据压缩方法压缩率不高的技术问题。

为达到上述技术目的，本发明采取了以下技术方案：

第一方面，本发明提供一种基于深度学习的界标数据压缩传输方法，包括如下步骤：

获取初始界标数据以及实际界标数据集；

根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集；

对所述待压缩界标数据集进行离散处理；

采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出。

优选的，所述的基于深度学习的界标数据压缩传输方法中，所述根据初始界标数据对实际界标数据集进行预处理，以得到待压缩界标数据集具体包括：

根据初始界标数据，对实际界标数据集进行差分处理，以得到各个实际界标数据的数据波动值，将各个实际界标数据的数据波动值的集合作为待压缩界标数据集。

优选的，所述的基于深度学习的界标数据压缩传输方法中，所述采用变分自编码模型将离散处理后的待压缩界标数据集处理成潜在变量，并对所述潜在变量进行编码压缩后输出具体包括：

采用变分自编码模型将离散处理后的待压缩界标数据集处理，得到均值和方差，根据所述均值和方差生成概率分布函数，采用非对称数字系统对所述概率分布函数进行解码，得到第一个潜在变量；

基于所述第一个潜在变量和所述变分自编码模型，依次得到后续的各个潜在变量，当得到了最后一个潜在变量后，对最后一个潜在变量进行编码压缩后输出。