[发明专利]一种数据写入方法、装置及计算机设备

说明书

本发明公开了一种数据写入方法、装置及计算机设备，该方法包括如下步骤：获取待写入文件；向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。本发明通过将大文件切割成多组数据块，将多组数据块进行分布式存储，大大降低了对集中式机房的高要求，提高视频存储效率，可扩展性高，满足海量视频、音频文件的存储需求。

技术领域

本发明涉及视频存储技术领域，具体涉及一种数据写入方法、装置及计算机设备。

背景技术

视频监控技术应用在社会生产、生活的各个方面，海量的视频数据的挖掘分析对后续工作有重大的指导意义。随着视频监控数据的爆炸式增长，需要占用大量的存储资源，急需有效的存储技术来对视频监控数据进行存储以便于对挖掘分析提供支撑。故亟待提出一种数据写入方法来存储大量视频数据。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中大量视频数据存储成本高的缺陷，从而提供一种数据写入方法、装置及计算机设备。

根据第一方面，本发明实施例公开了一种数据写入方法，包括如下步骤：获取待写入文件；向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。

可选地，当接收到创建失败信息时，停止写入操作。

可选地，通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点，包括：通过所述第一数据写入文件对所述多组数据块中任一数据块进行存储；当接收到目标数据节点返回的确认报文，对所述多组数据块中剩余数据块中的任一数据块进行存储，直至所有数据块均写入对应的目标数据节点。

可选地，当任一所述目标数据节点写入失败时，将数据块写入新的数据节点。

根据第二方面，本发明实施例还公开了一种数据写入方法，包括如下步骤：接收客户端发送的文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；根据所述文件创建请求确定所述客户端是否满足文件创建条件；当满足所述文件创建条件时，向所述客户端发送第一数据写入文件，所述第一数据写入文件用于将待写入文件数据写入HDFS集群对应的目标数据节点；当不满足所述文件创建条件时，向所述客户端发送创建失败信息。

可选地，所述方法还包括：接收所述客户端发送的第二数据写入文件，根据所述第二数据写入文件向所述客户端发送目标数据节点信息，所述第二数据写入文件为已写入数据块的第一数据写入文件。

根据第三方面，本发明实施例还公开了一种数据写入装置，包括：获取模块，用于获取待写入文件；第一发送模块，用于向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；第一接收模块，用于当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；写入模块，用于通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。