[发明专利]一种基于Hadoop2的高效能流媒体文件分布式存储系统及方法

说明书

技术领域

本发明涉及一种文件分布式存储方法，尤其涉及一种基于Hadoop2的高效能流媒体文件分布式存储系统及方法，适应于分布式流媒体视频文件存储领域。

背景技术

随着视频动画技术的发展，媒体资源的清晰度不断提高，媒体文件的大数据特性不断增强，面对用户对于在线媒体需求不断增加的这种发展状况，解决好媒体文件这种大数据的存储无疑是十分必要而且迫切需求的。

目前广泛使用的流媒体存储大都是存在于单一节点的，或者由数个相同的硬盘组成的硬盘阵列来实现存储。随着新硬盘技术的出现，固态硬盘逐渐进入了市场，其在I/O吞吐量、读写速度，尤其是随机读写上表现出来的优势是无可比拟的，但固态硬盘的价格目前还处在一个较为昂贵的位置。

发明内容

本发明要解决的技术问题是：为了在将原本服务系统性能提高的同时能控制好成本，提供一种基于Hadoop2的高效能流媒体文件分布式存储系统及方法；能够有效的对流媒体文件进行分布存储，提高文件存储时效性及文件存储的能力；同时，能够快速地实现文件的上传及下载服务的管理，维护用户使用的流畅性。

为实现上述目的，本发明采取的技术方案是：

一种基于Hadoop2的高效能流媒体文件分布式存储系统，包括用户交互模块、控制模块、存储模块及数据库；所述用户交互模块的输入端与计算机网络相连接，输出端分别与控制模块、数据库连接，所述用户交互模块接收用户通过网络发出的流媒体文件上传或下载的信息，根据需要将用户上传的流媒体文件进行分块，流媒体文件分块信息和下载流媒体文件的信息分别传送给控制模块、数据库，并接收控制模块及数据库的反馈信息；所述数据库还与控制模块连接，数据库将从用户交互模块中得到的信息进行记录，并将相关记录数据传输给控制模块；控制模块与存储模块连接，控制模块接收用户交互模块的信息，结合数据库中输出的信息记录，向存储模块发出响应请求信息；所述存储模块接收控制模块的请求信号进行分布式处理后，将信号反馈给控制模块；

进一步改进，所述存储模块包括分布存储过程控制模块及存储器集；所述分布存储过程控制模块的输入端与控制模块连接，输出端与存储器集连接，所述分布存储过程控制模块接收控制模块的请求信号，对应作出上传或下载流媒体文件或文件分块至存储器集的操作；所述存储器集的输入端与分布式存储过程控制模块连接，输出端与控制模块连接，所述存储器集接收分布式存储过程控制模块传来的流媒体文件或文件分块上传或下载的请求，完成数据的交换处理后，将信息反馈给控制模块，通过控制模块控制允许用户下载或上传；

进一步改进，所述存储器集包括由若干固态硬盘组成的Hadoop固态硬盘阵列、由与所述固态硬盘相同数量的传统机械硬盘组成的Hadoop传统硬盘阵列及由固态硬盘与传统硬盘相结合产生的Hadoop混合式硬盘阵列；所述固态硬盘阵列、传统硬盘阵列及混合式硬盘阵列依据Hadoop2的特性设置；组成所述Hadoop混合式硬盘阵列的固态硬盘与传统硬盘的数量之和与组成所述Hadoop固态硬盘阵列的固态硬盘数量相同。

所述硬盘阵列通过网络设备连接；所述存储器集根据流媒体文件或文件分块的访问数据变化信息完成不同结构的硬盘阵列之间的数据交换。

所述控制模块中含有定时器，定时从数据库中读取用户访问流媒体文件或文件分块的信息，提交给所述存储模块。

基于上述系统进行流媒体文件的存储方法，具体步骤如下：

步骤1：用户通过计算机网络向用户交互模块发出文件上传或文件下载的请求,用户交互模块经过验证,判定用户是否有该请求的权限；若有相应权限则进入下一步，若无权限则返回无权限操作或操作失败的信息；

步骤2：将流媒体文件分为两类：第一类是带有时效性强的流媒体文件，该类文件在短时间内访问量大，随时间的增长而减少；第二类是其他流媒体文件，该类文件访问量是无法预知的，一般在一段时间内才会有信息反馈；

步骤3：在步骤1中生成的信息若为时效性强的流媒体注释信息，则用户交互模块提交至数据库，并将时效性强的流媒体直接传输至控制模块；生成的信息若为时效性不强的流媒体文件信息， 则将时效性不强的流媒体文件进行分块，且该分块的大小应与Hadoop中存储分块的大小相一致，生成时效性不强的流媒体注释信息与流媒体文件分块信息，将该信息提交至数据库，同时，将时效性不强的流媒体文件传输至控制模块；

步骤4：文件经过控制模块，根据用户的请求内容，完成文件的传送及数据提交，或由定时器触发后，读取数据库中流媒体文件的阈值变化信息，将阈值信息传入至存储模块；