[发明专利]数据处理方法、装置、计算设备及计算机存储介质

说明书

本发明实施例涉及数据处理技术领域，公开了一种数据处理方法、装置、计算设备及计算机存储介质，所述方法包括：获取待存储数据；对待存储数据进行结构化，得到结构化数据；如果初始化的SQLite数据库中存在目标数据表，则将结构化数据存储至目标数据表中；如果初始化的SQLite数据库中不存在目标数据表，则在初始化的SQLite数据库中构建可加载数据表；将结构化数据存储至可加载数据表中。通过上述方式，本发明实施例实现了将数据存储至SQLite数据库中，便于通过SQL操作对数据进行处理。

技术领域

本发明实施例涉及数据存储技术领域，具体涉及一种数据处理方法、装置、计算设备及计算机存储介质。

背景技术

流数据是一个随时间延续无限增长的动态数据集合，广泛应用于网络监控、航空航天等技术领域。

现有的流数据存储方法是将获取的实时数据进行流式计算后加载到目标端数据源。在程序自身内存或外部的键值(key-value，KV)数据库缓存该目标数据源中的数据。

本发明实施例的发明人在实践中发现：现有的流数据处理方式直接对内存或KV数据库进行处理，处理程序复杂。

发明内容

鉴于上述问题，本发明实施例提供了一种数据处理方法、装置、计算设备及计算机存储介质，通过本发明实施例，可以直接通过SQL对数据进行操作。

根据本发明实施例的一个方面，提供了一种数据处理方法，所述方法包括：

获取待存储数据；

对所述待存储数据进行结构化，得到结构化数据；

如果初始化的SQLite数据库中存在目标数据表，则将所述结构化数据存储至所述目标数据表中；

如果初始化的SQLite数据库中不存在目标数据表，则在所述初始化的SQLite数据库中构建可加载数据表；

将所述结构化数据存储至所述可加载数据表中。

在一种可选的方式中，所述如果初始化的SQLite数据库中存在目标数据表，则将所述结构化数据存储至所述目标数据表中包括：

根据预设时间窗口将所述结构化数据分为多个结构化数据片段；

将所述多个结构化数据片段存储至所述目标数据表中。

在一种可选的方式中，所述如果初始化的SQLite数据库中存在目标数据表，则将所述结构化数据存储至所述目标数据表中包括：

根据预设数据条数将所述结构化数据分为多个结构化数据片段；

将所述多个结构化数据片段存储至所述目标数据表中。

在一种可选的方式中，在获取待存储数据之前，所述方法还包括：初始化SQLite数据库，所述SQLite数据库中包含静态数据。

在一种可选的方式中，在将所述结构化数据存储至所述可加载数据表中之后，所述方法包括：

通过SQL操作对SQLite数据库中所存储的结构化数据进行处理。

在一种可选的方式中，所述通过SQL操作对SQLite数据库中所存储的结构化数据进行处理，包括：

通过SQL操作对SQLite数据库中所存储的数据进行查询、添加或删除。

在一种可选的方式中，所述通过SQL操作对SQLite数据库中所存储的数据进行查询、添加或删除，包括：

通过SQL操作对SQLite数据库中的数据表按照列进行查询；

通过SQL操作对SQLite数据库中的数据表按照行进行添加或删除。