[发明专利]基于MongoDB的存储系统及数据插入方法和存储介质

说明书

本发明实施例涉及分布式数据库应用领域，公开了一种基于MongoDB的存储系统及数据插入方法和存储介质。本发明中，一种基于MongoDB的存储系统，包括：配置集群、服务集群以及多个应用节点；服务集群用于在监测到应用客户端产生待插入数据时，基于配置集群存储的数据库分片信息判断是否存在可插入待插入数据的目标分片，目标分片的数据库分片信息中的记录数小于预设最大值，且目标分片的数据存储位置所属的应用节点位于在线应用节点列表中；若不存在目标分片，则创建新分片，在在线应用节点列表中选取应用节点作为新分片的数据存储位置，将待插入数据存放于新分片的数据存储位置；在后续需要新增节点时，不需要修改应用客户端的配置，优化了新增节点的操作。

技术领域

本发明实施例涉及分布式数据库应用技术领域，特别涉及一种基于MongoDB的存储系统及数据插入方法和存储介质。

背景技术

MongoDB存储系统安装简单，使用灵活，无需事先创建数据库和表，且模式自由，适合应用客户端需求变动频繁以及数据模型无法确定的场景。

MongoDB存储系统天然适合用于JSON格式的日志存储，在数据分析方面支持JS语法的query，支持基于map-reduce的分析方法。故MongoDB存储系统非常适合小型开发团队用于JSON格式日志的存储与分析工作，当采用MongoDB存储海量日志的情况下，涉及到MongoDB集群分片的需求。

发明人发现现有技术中至少存在如下问题：新增MongoDB节点时，需要修改应用客户端的配置，以建立新的数据库连接。

发明内容

本发明实施例的目的在于提供一种基于MongoDB的存储系统及数据插入方法和存储介质，在后续需要新增MongoDB节点时，不需要修改应用客户端的配置，优化了后续需要新增MongoDB节点的操作。

为解决上述技术问题，本发明的实施例提供了一种基于MongoDB的存储系统，包括：配置集群、服务集群以及多个应用节点；配置集群用于存储在线应用节点列表以及数据库分片信息，在线应用节点列表包括多个应用节点中在线的应用节点，服务集群用于与应用客户端进行数据交互；服务集群用于在监测到应用客户端产生待插入数据时，基于配置集群存储的数据库分片信息判断是否存在可插入待插入数据的目标分片，目标分片的数据库分片信息中的记录数小于预设最大值，且目标分片的数据存储位置所属的应用节点位于在线应用节点列表中；若不存在目标分片，则创建新分片，在在线应用节点列表中选取应用节点作为新分片的数据存储位置，将待插入数据存放于新分片的数据存储位置；将新分片的数据库分片信息上传至配置集群，新分片的数据库分片信息包括新增数据以及新分片的数据存储位置。

本发明的实施例还提供了一种数据插入方法，基于以上MongoDB的存储系统，包括：获取应用客户端的待插入数据，并判断是否存在目标分片，目标分片的记录数小于预设最大值，且目标分片的数据存储位置所属的应用节点位于在线应用节点列表中；若不存在目标分片，则创建新分片，并在在线应用节点列表中选取应用节点作为新分片的数据存储位置，并将待插入数据存放于新分片的数据存储位置；将新分片的数据库分片信息上传至配置集群，新分片的数据库分片信息包括新增数据以及新分片的数据存储位置；返回待插入数据的插入结果至应用客户端。

本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现以上数据插入方法。

本发明实施例相对于现有技术而言，提出一种基于MongoDB的存储系统，应用客户端通过服务集群写入的数据被服务集群存储于各分片中，应用客户端通过服务集群读取数据时，服务集群整合各分片的数据返回给应用程序。通过服务集群实现应用客户端与数据库的对接，在后续需要新增MongoDB节点时，不需要修改应用客户端的配置，优化了后续需要新增MongoDB节点的操作；另外，当创建新分片时，应用客户端的新增数据直接插入到新分片中，自动实现了数据的平衡，无需额外进行数据的重平衡。