[发明专利]智能获取网络中视频数据的方法与系统

说明书

技术领域

本发明属于视频技术领域，特别是涉及到一种能够从网络中智能获取视频数据的方法与系统。

背景技术

随着移动智能终端的发展及FTTH的普及，越来越多的移动互联终端及家庭终端开始使用一系列的OTT视频应用，随着OTT应用数量的增多，网络设备中的各项资源正面临着很大的挑战。OTT应用产生的带宽消耗，正逐步加大网络的负荷。因此，对各OTT应用的信令层数据和应用层数据进行同步抓取，分析各OTT视频业务对网络侧的影响成为亟待解决的问题。实际应用中，OTT应用的信令从发送端到接收端的过程中，可能会因为传输环境或者网络固件异常及老化等原因而出现较长的传输时延、乱序包、重复包等复杂因素，对视频数据的抓取造成较大困难。

发明内容

本发明要解决的问题是提供一种网络中视频数据的获取方法，通过OTT及IPTV视频数据抓取算法实现，用以解决OTT复杂的网络环境中不同形态的视频数据的获取问题。

为了达到上述目的，本发明采取的技术方案为：一种智能获取网络中视频数据的方法，通过网络嗅探，获得从MAC地址层到最终协议层的数据，把IP包头剔除掉，解析每一层报文，判断传输协议是TCP还是UDP，进行分别处理，并通过算法进行视频数据筛选。

进一步的，所述IP包头剔除的方法为：所述数据在MAC层之下的一层根据当前网络组网方式的不同进行区分，解析IP包的长度，根据长度去除包头。

进一步的，UDP数据处理的方法为：UDP数据判断是否有rtp层，如有则还需要将rtp包头去掉，然后进行数据的筛选。

进一步的，TCP数据处理的方法为：TCP数据进行重组，剔除重复包，将乱序包重新排序，并进行数据的筛选，筛除非TS流的数据。

更进一步的，所述TCP数据重新排序时采用缓冲链表，依据TCP的序列号，进行多线程同时获取TS流数据，利用信号量做同步。

进一步，所述视频数据筛选的方法为，开辟一段固定长度的缓存，每次接收到新包时进行相应包长的内存搬移。

进一步的，所述算法为：由于TS数据有固定字节长度和固定包头值，因此在获取TS数据时检测三个间隔固定字节长度的数据的值，如果都是固定包头值，则代表这三个固定字节长度的数据全是TS数据。

本发明还提供了一种智能获取网络中视频数据的系统，包括：

数据接收模块：负责通过网络嗅探来获取全网从MAC地址层到最终协议层的数据；

数据分割模块:负责将接收的完整的IP包进行包头剔除；

数据报文解析模块:负责将每一层的报文进行解析，如MAC层，IP层，传输层，业务层，每层的包头解析；

TCP数据缓冲模块：负责将TCP数据进行重组，剔除重复包，重组乱序包以达到发送端数据顺序的目的；

核心TS流数据获取模块：通过算法将需要的TS流数据筛选出来；

所述数据接收模块接收数据并将数据传递给数据分割模块，数据分割模块将数据分类处理后将数据传递给数据报文解析模块，数据报文解析模块将数据双线程传送给TCP数据缓冲模块和核心TS流数据获取模块。

进一步的，所述TCP数据缓冲模块设置有缓冲链表，依据TCP的序列号。与TS数据获取模块进行多线程同时工作，利用信号量做同步。

进一步的，所述核心TS流数据获取模块设置有一段固定长度的缓存，每次接收到新包时进行相应包长的内存搬移。

本发明提出的智能获取网络中视频数据的方法与系统，与现有技术相比，有益效果为：

(1)本发明能够对各OTT应用的信令层数据和应用层数据进行同步抓取，解决传输环境或者网络固件异常及老化等原因而出现较长的传输时延、乱序包、重复包等复杂因素对视频数据的抓取造成较大困难的问题。

(2)TS数据获取采用独特的内存搬移技术。此技术的好处可以不用开辟较长的数据链表。特别是在视频数据的应用中。极大的节省了系统内存开销。

(3)TCP数据重新排序时采用缓冲链表依据TCP的序列号。这样可以保证用到的TCP数据是完全还原发送模块。不会造成乱序的现象。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合具体实施例对本发明做进一步说明。

本发明的系统架构包括：

数据接收模块：负责通过网络嗅探来获取全网的数据。

数据分割模块:负责将接收的完整的IP包进行每个包头分割。