[发明专利]数据写入方法、设备以及存储介质

说明书

本申请实施例提供一种数据写入方法、设备以及存储介质，方法应用于数据库服务器，方法包括：获取待写入数据和数据分析系统内的数据分区参数，其中，数据分析系统运行于数据库服务器；根据待写入数据和数据分区参数确定数据写入模式；根据数据写入模式将待写入数据写入对应数据存储区域中。本方案根据待写入数据和数据分析系统内的数据分区参数确定数据写入模式，可以适应不同情况下数据写入，可以提高数据写入效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据写入方法、设备以及存储介质。

背景技术

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

在基于Hive执行数据分析任务时，首先需要向Hive表中写入数据，再基于写入数据进行数据分析，进而得到数据分析结果。相较于数据分析过程，向Hive表写入数据过程是执行数据分析任务的瓶颈，向Hive表写入数据的速率会严重影响执行数据分析任务。

因此，如何优化Hive表写入数据的速率是一个亟待解决的问题。

发明内容

本申请实施例提供一种数据写入方法、设备以及存储介质，旨在提供一种优化数据写入速率的方案。

第一方面，本申请提供一种数据写入方法，方法应用于数据库服务器，方法包括：

获取待写入数据和待写入数据在数据分析系统内的数据分区参数，其中，数据分析系统运行于数据库服务器；

根据待写入数据和数据分区参数确定数据写入模式；

根据数据写入模式将待写入数据写入对应数据存储区域中。

可选地，根据待写入数据和数据分区参数确定数据写入模式，具体包括：

根据待写入数据和数据分区参数确定所有待写入数据对应的数据存储区域的总数量；

根据数据存储区域的总数量确定数据写入模式。

在上述技术方案中，所有待写入数据对应的数据存储区域的总数量可以反映数据写入过程复杂程度，根据总数量确定数据写入模式，可以适应不同复杂程度的数据写入需求，以提高数据写入速率。

可选地，根据数据存储区域的总数量确定数据写入模式，具体包括：

若数据存储区域的总数量为一个，数据写入模式为静态分区写入模式；

若数据存储区域的总数量为多个，根据所有待写入数据的总数据量和请求占用资源量确定数据写入模式。

在上述技术方案中，当总数量为一个，表示数据写入过程比较简单，则采用静态分区写入模式。若总数量为多个时，则根据总数据量和申请占用资源量进一步确定数据写入模式，以提高数据写入模式。

可选地，根据所有待写入数据的总数据量和请求占用资源量确定数据写入模式，具体包括：

若总数据量小于预设数据量阈值，数据写入模式为动态分区写入模式；

若总数据量达到预设数据量阈值，则继续根据请求占用资源量确定数据写入模式。

可选地，继续根据请求占用资源量确定数据写入模式，具体包括：

判断请求占用资源量和数据库服务器的资源总量的比值是否超过预设比例阈值；

若否，所述数据写入模式为先写入数据库后写入数据分析系统模式；

若是，所述数据写入模式为多线程写入模式。

可选地，数据分析系统为Hive，先写入数据库后装载至数据分析系统模式为先写入分布式文件系统后装载至Hive。