[发明专利]一种对原始网络数据包的有损压缩存储方法和装置

说明书

本发明涉及网络数据处理技术领域，提供了一种对原始网络数据包的有损压缩存储方法和装置。方法包括对于每一个链路层数据包，确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议，则确定其后数据是隧道协议，直接丢弃相应的链路层数据包；则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段，保留源IP地址字段、目的IP地址字段和下一层的协议字段；若无需保真还原传输层相关信息，丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段，保留源端口号和目的端口号中。本发明实施例提供的方法能很好的缓解有限存储空间内的存储需求。

【技术领域】

本发明涉及网络数据处理技术领域，特别是涉及一种对原始网络数据包的有损压缩存储方法和装置。

【背景技术】

电信运营商相关OSS系统中为了能通过某些专家子系统导出和查看单用户在其网络中的控制面和业务面的原始数据，要求建设的诸如DPI系统支持根据用户号码存储和查询用户信令原始数据。

目前以省为单位建设的DPI系统承载的用户数大都在1000万以上，实时产生的原始信令包速据高达6000000pps，而这些数据包又存在包量非常大，包体积却很小的情况。在有限的存储空间内要尽可能存储更多的网络数据包，成为当下网络数据爆炸式增长情况下，急需解决的问题。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是在有限的存储空间内要尽可能存储更多的网络数据包，成为当下网络数据爆炸式增长情况下，急需解决的问题。

本发明进一步要解决的技术问题是如何提供一种有效机制，能够保证供wireshark软件有效的还原出有损数据，并进行有效的呈现。

本发明采用如下技术方案：

第一方面，本发明提供了一种对原始网络数据包的有损压缩存储方法，确认当前的有损压缩策略包括无需保真还原链路层相关信息、无需保真还原网络层相关信息和无需保真还原传输层相关信息中的一项或者多项，则有损压缩存储方法包括：

若无需保真还原链路层相关信息，则对于每一个链路层数据包，确定链路层数据包类型字段的内容并非IPv4协议或者IPv6协议，则确定其后数据是隧道协议，直接丢弃相应的链路层数据包；确定链路层数据包类型字段的内容为IPv4协议或者IPv6协议，则直接删除源MAC地址、目的MAC地址和类型字段；其中，在链路层中由源MAC地址字段、目的MAC地址字段和类型字段三部分组成；

若无需保真还原网络层相关信息，则直接丢弃网络层中版本号字段、头长度字段、标识字段和总和校验字段中的一个或者多个，保留源IP地址字段、目的IP地址字段和下一层的协议字段；

若无需保真还原传输层相关信息，则在传输层为TCP层时，丢弃选项字段、校验字段、窗口大小字段、序列号、确认序列号和紧急指针字段中的一个或者多个，保留源端口号和目的端口号。

优选的，还包括无需保真还原基于HTTP协议的应用层，具体的：

HTTP协议由方法、URL、HTTP版本、一组或者多组头域名称和头域值组合，以及body构成，若无需保真还原基于HTTP协议的应用，则将body部分全部丢弃。

优选的，所述有损压缩应用于电信运营商，其中，电信运营商关注数据载荷所包涵的信息。

优选的，所述有损压缩后的数据，在使用wireshark软件进行呈现时，其还原过程具体包括：

若网络层在有损压缩过程中，网络层中版本号字段、头长度字段、标识字段和总和校验字段被丢弃，则在还原过程中，需要基于当前已经被压缩过的数据，重新计算总和校验，并保存在被还原数据中链路层中相应总和校验字段中；