[发明专利]一种基于DSS数据系统快速加载大型数据群的方法

说明书

本发明公开一种基于DSS数据系统快速加载大型数据群的方法，通过开辟大型虚拟内存并且提交大量物理存储器给服务器使用，充分利用了服务器硬件资源，通过虚拟内存的使用，对大型数据群的加载变成可能，内存开辟效率明显提升；访问数据方便快捷；本发明还通过锁定物理内存最大限度防止服务器进程空间在运行期发生内存页交换，极大降低服务器性能损耗；本发明还通过虚拟内存的使用实现一次性加载大型数据群，避免了现有方案上需要再加载的情况，特别对于需要I/O过程的数据加载情况在服务器上是将造成宕机的举动。

技术领域

本发明涉及一种基于DSS数据系统快速加载大型数据群的方法。

背景技术

Darwin Streaming Server简称DSS。DSS是Apple公司提供的开源实时流媒体播放服务器程序，整个程序使用纯粹C++编写，在设计上遵循高性能、简单、模块化等程序设计原则，务求做到程序高效，可扩充性好，因此DSS服务器系统在跨平台的支持上是相当理想的，它可以运行在Windows NT、Windows 2000及以上的windows内核版本，同时也能良好的运行在*NIX的各种版本上，包括Mac OS X，Linux，FreeBSD，Solaris，同时DSS基于标准的流媒体协议RTSP，RTP/RTCP进行开发，因此在运用上具有极强的广泛性和通用性。

目前基于DSS服务器数据系统存在以下缺陷：

一、传统IT业务部署上的“烟囱式”架构导致设备硬件的高配低用，考虑到未来运用系统业务发展，以及业务突发的需求，为满足应用程序的性能，容量承载需求，用户往往选择在计算、存储和网络等硬件设备的配置时会留有一定比例的余量，但硬件资源上线后，应用系统在一定时间内的负载并不会太高，这就使得较高配置的硬件设备利用率不高。

二、现有DSS服务器数据系统在对数据进行存储，交换上以堆为主要手段，在这种情况下如果数据量较小，对数据使用不太频繁的情况下影响不大，然而对于企业商用级服务器而言，往往需要加载大批量数据以及频繁对大型数据群进行操作，如果使用原有的堆操作方式那么每次都要去开辟、释放空间，而且开辟的空间非常庞大，并且在运行过程中会产生大量的内存碎片，使得内存使用上空间和时间效率都非常低下，程序运行一段时间后会变质。

三、现有DSS服务器并没有锁定内存页面，服务器往往具有非常大的内存容量并且独占运用，而实际运行过程中真正的物理内存使用却非常低下，在操作大型数据群的时候频繁产生缺页中断，而缺页中断的产生将非常严重影响服务器的响应速度进而堆积数据接入，最终甚至将导致服务器宕机，而这种问题往往很难排查。

四、大型数据群的I/O，现有基于DSS框架的运用上对于大量数据从数据库中进行读写往往使用小批量，需要时加载的方式，这种方式的使用局限性非常大，而且对于频繁的I/O操作在服务器使用上更是无法接受的消耗。

有鉴于此，本发明人提出一种基于DSS数据系统快速加载大型数据群的方法。

发明内容

本发明的一个目的在于提供一种基于DSS数据系统快速加载大型数据群的方法，以充分利用服务器物理内存资源、实现大型数据群的快速加载和高效实用，提高DSS框架数据系统效率。

为了实现上述目的，本发明的技术方案如下：

一种基于DSS数据系统快速加载大型数据群的方法，包括以下步骤：

步骤1、设计专用虚拟内存类QTSSVMArray，该虚拟内存类为模板类，类中包含用于初始化的时候事先预留设定量的空间的构造函数，所述空间并不在物理内存中；

步骤2、将虚拟内存模板类QTSSVMArray作为DSS原数据系统中QTSSDictionary的静态成员变量，再根据应用程序的需要设计存储空间中要存放的结构体类型；