[发明专利]一种适用于大数据环境的数据流存储管理方法及系统

摘要

本发明公开了一种适用于大数据环境的数据流存储管理方法和系统，首先建立数据服务器；然后获取存储数据；最后判断存储数据的数据量，数据量大时采用事件触发机制控制存储方式将存储数据存入数据服务器；数据量小时采用时钟频率控制存储方式将存储数据存入数据服务器。本发明提供一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。对数据进行简单的处理和索引更新。提高数据流存储效率，提高信息服务响应速度，兼顾检索过程，提高检索效率；从而提高企业的运作效率。

主权项

一种适用于大数据环境的数据流存储管理方法，其特征在于：包括以下步骤：S1：建立数据服务器；S2：获取存储数据；S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器；所述时钟频率控制存储方式采用以下步骤：S31：获取数据量和数据类型；S32：根据数据量和数据类型设置批量存储的动态窗口；S33：设置存储时钟频率；S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；S36：如果否，则返回步骤S34。