[发明专利]一种码流数据管理方法、装置及存储介质

说明书

本发明公开了一种码流数据管理方法、装置及存储介质，该办法包括：解析待存储数据，得到待存储数据的数据标识和时间戳；根据数据标识，生成待存储数据的数据文件名称和索引文件名称；根据时间戳，生成待存储数据的分区存储路径；根据数据文件名称、索引文件名称和分区存储路径，对待存储数据进行分区存储；在接收到数据查询请求时，响应于数据查询请求，进行数据检索。如此，按照码流数据的解析结果进行分区存储，极大的节省设备资源，降低运维复杂度，并且在存储数据时构建索引文件，在需要查询码流数据时，根据分区存储的特点，结合索引文件，能够从相应的存储空间中快速查找到所需要的数据，有效加快查询响应时间，从而显著提升用户感知。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种码流数据管理方法、装置及计算机可读存储介质。

背景技术

大数据时代，随着移动网、互联网、物联网、车联网等技术日新月异，各种网络设备，各类用户终端呈现爆炸式发展，终端和设备之间，设备与设备之间会实时生成海量的码流数据。码流的数据的特点是：种类繁多，数据量大，日增速度快，一个小的子系统，一天的码流总量可能就是TB级，甚至PB级。回溯原始码流是必然的需求，如何高效存储，快速反查码流变得越来越困难。

现有解决码流存取的方案，最常用的是把TID(Transaction Identifier)存储在关系或非关系型数据库，把原始码流存储在HBase等大数据集群，然后利用HBase的各类接口，通过TID来进行关联查询。但是HBase存储时集群本身的开销大，导致存储时资源占用过高，查询时任务启动时间太长，任务响应不及时。为了提高HBase等大数据集群的码流存取效率，需要不断增加存储和计算设备，最终导致HBase集群自身产品成本和运维成本不断升高，而用户体验却不断下降。

发明内容

本发明实施例为了解决码流存储和检索过程中存在的上述问题，创造性地提供一种码流数据管理方法、装置及计算机可读存储介质。

根据本发明第一方面，提供了一种码流数据管理方法，该方法包括：解析待存储数据，得到所述待存储数据的数据标识和时间戳；根据所述数据标识，生成所述待存储数据的数据文件名称和索引文件名称；根据所述时间戳，生成所述待存储数据的分区存储路径；根据数据文件名称、索引文件名称和所述分区存储路径，对所述待存储数据进行分区存储；在接收到数据查询请求时，响应于所述数据查询请求，进行数据检索。

根据本发明一实施方式，所述解析待存储数据，得到所述待存储数据的数据标识和时间戳，包括：将所述待存储数据转换为指定数据格式；对所述指定格式的待存储数据进行解析，得到所述待存储数据的以下至少之一：事务标识TID，包括所述待存储数据的事件的时间戳和递增序列；用户标识UID，包括所述待存储数据的用户身份标识和时间戳。

根据本发明一实施方式，所述根据所述数据标识，生成所述待存储数据的数据文件名称和索引文件名称，包括：根据所述数据标识和所述时间戳，进行哈希处理，得到相应的所述待存储数据的索引文件名和数据文件名。

根据本发明一实施方式，所述根据数据文件名称、索引文件名称和所述分区存储路径，对所述待存储数据进行分区存储，包括：根据Cache数据所配置的块大小，为所述待存储数据分配内存资源；根据所述分区存储路径，确定所述待存储数据的Cache索引文件和Cache数据文件；对所述待存储数据进行压缩，并以所述数据文件名将压缩后的待存储数据按顺序存储至所述Cache数据文件中；确定所述待存储数据在所述数据文件中的缓存位置；在Cache数据的索引文件中构建所述索引文件名与所述数据文件名和缓存位置的映射。

根据本发明一实施方式，所述方法还包括：每间隔设定周期，根据Cache数据中所存储的数据包的时间戳，确定所述时间戳对应的时间点与当前时间之间的时间间隔；删除所述时间间隔大于设定时间间隔的时间戳对应的数据包。