[发明专利]流处理系统的数据读写方法和流处理系统

权利要求书

1.一种流处理系统的数据读写方法，其特征在于，包括：

流处理系统的Broker接收读写数据请求；

响应于所述读写数据请求，所述Broker通过读写缓存进行数据的读写操作，其中，所述读写缓存是由所述Broker从堆外内存中申请的预设内存空间。

2.根据权利要求1所述的流处理系统的数据读写方法，其特征在于，

在所述Broker接收到读数据请求时，所述Broker查询所述读写缓存是否存在第一数据，其中，所述第一数据为所述读数据请求所请求读取的数据；

若有，所述Broker从所述读写缓存读取所述第一数据；

否则，所述Broker从磁盘读取所述第一数据。

3.根据权利要求2所述的流处理系统的数据读写方法，其特征在于，所述Broker从磁盘读取所述第一数据包括：

在所述第一数据为冷数据时，所述Broker通过操作系统页缓存将所述第一数据从HDD写入所述读写缓存，在所述第一数据为热点数据时，所述Broker将所述第一数据从SSD写入所述读写缓存；

所述Broker从所述读写缓存读取所述第一数据。

4.根据权利要求1所述的流处理系统的数据读写方法，其特征在于，

在所述Broker接收到写数据请求时，所述Broker将第二数据写入所述读写缓存，其中，所述第二数据为所述写数据请求所请求写入的数据。

5.根据权利要求4所述的流处理系统的数据读写方法，其特征在于，在所述Broker将所述第二数据写入所述读写缓存之后，所述方法还包括：

在所述第二数据是冷数据时，所述Broker通过操作系统页缓存将所述第二数据从所述读写缓存写入HDD；

在所述第二数据是热点数据时，所述Broker将所述第二数据从所述读写缓存写入SSD。

6.根据权利要求1所述的流处理系统的数据读写方法，其特征在于，所述方法还包括：

在所述读写缓存剩余容量小于第一预设阈值的情况下，所述Broker将第三数据转存到磁盘，其中，所述第三数据为所述读写缓存当前存储的数据中最早被写入的数据。

7.根据权利要求6所述的流处理系统的数据读写方法，其特征在于，将所述第三数据转写到磁盘包括：

在所述第三数据是热点数据时，所述Broker将所述第三数据从所述读写缓存转存到SSD；

在所述第三数据是冷数据时，所述Broker通过操作系统页缓存将所述第三数据从所述读写缓存转存到HDD。

8.根据权利要求7所述的流处理系统的数据读写方法，其特征在于，所述方法还包括：

在所述Broker将所述第三数据从所述读写缓存转存到SSD时，当所述SSD内存不足时，所述Broker将第四数据从所述SSD删除，其中，所述第四数据为所述SSD当前存储的数据中最早被写入的数据。

9.根据权利要求1所述的流处理系统的数据读写方法，其特征在于，所述方法还包括：

所述Broker获取配置信息；

所述Broker根据所述配置信息，判断当前读写的数据是热点数据还是冷数据。

10.根据权利要求1所述的流处理系统的数据读写方法，其特征在于，所述方法还包括：

所述Broker根据在预设时间段内对读写数据的读写频率的统计信息，判断当前读写的数据是冷数据还是热点数据；

其中，在当前读写的数据在所述预设时间段内的读写频率超过第二预设阈值时，确定当前读写的数据为热点数据；否则，确定当前读写的数据为冷数据。