[发明专利]一种共享文件系统中实现快速接收和储存数据的方法

说明书

本发明涉及一种共享文件系统中实现快速接收和存储数据的方法，包括：视音频获取；视音频处理；发送视音频数据；接收视音频数据；写入文件。本发明利用大页内存、用户态网卡驱动以及数据和元数据分离技术，存储服务器可以快速的接收多个客户端发来的多路数据流，并写入到文件中，从而达到同时存储上百路视频流的目的。本发明有效提高了共享文件系统的并发访问效率，而且同时访问的文件越多，效果越加明显，对于常见的教育录播行业或者视频监控行业，在很大程度上提高了视频存储的效率。

技术领域

本发明涉及一种共享文件系统中实现快速接收和存储数据的方法，是一种应用于共享文件系统存储视频数据的方法，是一种适用于视频存储领域的快速接收和存储数据的方法。

背景技术

目前，通用的NAS共享文件系统由NAS服务器和多客户端通过LAN网络组成。客户端在LAN网络下通过tcp/ip协议与NAS服务器相连并通讯。客户端要进行文件写操作时，需通过LAN网络不断的发送数据给NAS服务器。

NAS存储具有分离服务器和存储，减轻服务器负担，方便数据共享，对现有的网络环境有很好的适应性，高扩展性等优点，已广泛应用于视频存储领域，包括其中的一个重要应用场景：多个客户端同时对NAS共享文件系统中的多个文件进行存取操作，比如教育录播系统、视频监控系统。在教育录播系统或视频监控系统中，往往有数百个甚至更多的IP摄像机，以及数十个客户端需要进行文件的写入和操作，面对这样庞大的视频数据的存储，传统NAS文件系统普遍存在以下明显的不足：因为传统的网卡驱动方式，当多台客户端同时访问NAS文件系统的多个文件时，NAS的性能大大的下降，最终不能满足用户的需求。传统的网卡驱动为内核态网卡驱动，报文需要在用户态和内核态之间多次拷贝，当数据量增加时，开销尤其明显；传统的网卡驱动采用的是中断模式的驱动，大量的中断会耗尽CPU资源，导致性能严重下降；传统的网卡驱动中各个数据线程以及控制线程在各个CPU核之间来回调度，浪费资源。以上不足造成了当多个客户端同时访问NAS文件系统中的多个文件时，速度严重下降，实时性不能保障。

发明内容

为了克服现有技术的问题，本发明提出了一种共享文件系统中实现快速接收和存储数据的方法。所述的方法通过特定的方法快速接收和存储多路数据流，以达到多个客户端同时对多个文件进行存取的目的。

本发明的目的是这样实现的：一种共享文件系统中实现快速接收和存储数据的方法，所述方法所使用的硬件系统包括：多个客户端通过LAN网络与基于Linux的NAS子系统连接，所述的NAS子系统包括存储服务器和存储盘阵，所述的各个客户端通过LAN网络分别与多个IP摄像机连接，所述方法的步骤如下：

视音频获取的步骤：用于多个客户端通过各自连接的多个IP摄像机采集视音频数据；

视音频处理的步骤：用于各个客户端分别对各个IP摄像机所采集到的视音频数据进行处理，转码、打包；

发送视音频数据的步骤：用于请求发送数据的客户端向存储服务器提出发送请求，与存储服务器建立连接，开辟本地缓存空间，在待发送包中填写私有协议包头，向存储服务器发送视音频数据；

接收视音频数据的步骤：用于存储服务器设置大页内存并将大页内存申请为内存池，将接收数据的网卡注册为UIO设备，初始化一至两个元数据队列和多个内容数据队列，并创建与各个队列对应的接收数据线程，将各个接收数据线程与CPU绑定，以接收客户端发来的视音频数据；

写入文件的步骤：用于存储服务器分别通过元数据操作线程和内容数据操作线程将视音频数据写入文件。

进一步的，所述的“发送视音频数据的步骤”包括以下子步骤：

建立连接的子步骤：客户端向存储服务器发送连接请求，等待存储服务器应答，如果连接成功，则进入下述子步骤，否则退出；