[发明专利]一种大容量数据和服务管理系统

权利要求书

1.一种大容量数据和服务管理系统，其特征在于，包括一个主控模块以及多个服务模块，服务模块受主控模块的控制及管理；

主控模块包括监听发送接口、写控制组件以及合并控制组件，监听发送接口接受来自控制端以及服务模块的指令消息，写控制组件包括数据管理元件，数据管理元件记录原始数据与服务模块的映射关系；

合并控制组件包括合并管理元件、依赖图计算元件、聚类元件，依赖图积算元件控制服务模块中每个内存服务，进行依赖图的解算、汇合以及初始化，聚类元件依据依赖图进行层次聚类以及簇调度，以决定各簇在哪个内存服务中进行合并；合并管理元件根据簇调度结果将同一簇文件转移至同一个内存服务中，由合并服务组件对簇中所包含的数据文件进行合并，同时生成检索文件；

服务模块获取和处理数据源的写入要求，并反馈相应回复消息；包括监听发送接口、用于对文件进行写缓存操作的写服务组件、用于对文件进行合并操作的合并服务组件；

写服务组件包括数据写入接口、内存管理元件、原始数据管理元件；原始数据管理元件中存储有数据源与对象、数据源与文件的映射关系；内存管理元件对文件内存进行分配管理，具体而言，内存管理元件将文件以双向链表的方式进行处理，其中数据源标志与文件块链表存入散列表，每个数据源标志的编号通过散列分配方式填入链表中；以利用双向链表对数据源标志以及文件块进行管理和维护；服务合并服务组件包括合并元件、进程管理元件；

合并服务组件将缓存至内存管理元件中的文件块不断合并为压缩文件格式的大文件，直至大文件的大小与文件系统默认块的大小相当，则写入文件系统中；进程管理元件包括一个线程池，其线程数目为芯片的线程数目，且进行合并、搜索的生成，并行实现文件的持续操作；其中，当文件系统中文件总量达到某设定阈值时，使用基于依赖关系的分层聚类对数据源进行聚类。

2.根据权利要求1所述一种大容量数据和服务管理系统，其特征在于，在服务模块，写入接口中的写线程获取数据并以文件协议指定的形式发送至缓存，如果是数据源的初次读写服务，则内存管理元件在散列表中插入数据源标识符，同时对双向链表进行初始化操作，以用于该数据源的内存分配，为数据分配与文件长度相应的内存块，数据拷贝完成后，内存块释放至双向链表中，并在原始数据管理元件中维护数据源与文件、块的映射关系；多服务模块负载超过某限定阈值，则数据源返回负载过重信号，有数据源重新发送读写请求。

3.根据权利要求1所述一种大容量数据和服务管理系统，其特征在于，在主控模块，当某一数据源第一次与分布式文件装置达成连接时，主控模块的写控制组件根据当前分布式文件装置的内存状态返回主存储地址至数据源，并建立数据源与缓存服务的映射关系储于散列表中，当服务模块的监听发送接口接收到写入指令，写控制组件返回给数据源相应的回复指令以启动相应的缓存服务。