[发明专利]数据存储方法和系统、数据查询方法和系统在审
申请号: | 201711476367.0 | 申请日: | 2017-12-29 |
公开(公告)号: | CN108334551A | 公开(公告)日: | 2018-07-27 |
发明(设计)人: | 刘德海;田妃佐;陈睿 | 申请(专利权)人: | 谷米科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 余永文 |
地址: | 510000 广东省广州市广州高*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待存储数据 虚拟数据库 数据存储 物理数据库 数据库 目标物理 特征标识 映射 哈希 存储 数据处理能力 数据库技术 存储能力 节点确定 扩展能力 数据查询 虚拟节点 传输 | ||
本发明涉及数据库技术领域,特别是涉及一种数据存储方法和系统。数据存储方法包括以下步骤:获取待存储数据以及所述待存储数据的第一特征标识码,计算所述第一特征标识码的第一哈希值;根据所述第一哈希值从虚拟数据库节点中确定第一目标虚拟数据库节点,其中,所述虚拟数据库节点是与各物理数据库具有映射对应关系的虚拟节点;根据所述第一目标虚拟数据库节点确定对应的目标物理数据库;根据所述映射对应关系将所述待存储数据传输至所述目标物理数据库中进行存储。上述数据存储方法将待存储数据划分到不同的物理数据库中存储,使得数据库的扩展能力、存储能力以及数据处理能力都得到提高。
技术领域
本发明涉及数据库技术领域,特别是涉及一种数据存储方法和系统、数据查询方法和系统。
背景技术
随着时间和业务的发展,业务数据不断增加,数据库中数据量随之增大。传统技术中,对大数据的存储主要依靠分表来实现,但是对业务数据进行分表储存在后期会造成大量的表需要管理和维护,进行数据查询时需要跨表查询,加大查询数据的复杂度。而且,随着数据量的不断增加,数据库中数据量随之增大,而数据库承载的数据量以及对数据的处理能力有限,海量数据的存储会导致在数据库中进行数据操作的开销变大,影响数据库对数据的处理能力,从而导致业务系统性能大大下降。
发明内容
基于此,有必要针对海量数据的存储导致数据库处理能力大大下降的问题,提供一种数据存储方法和系统、数据查询方法和系统。
一种数据存储方法,包括以下步骤:
获取待存储数据以及所述待存储数据的第一特征标识码,计算所述第一特征标识码的第一哈希值;
根据所述第一哈希值从虚拟数据库节点中确定第一目标虚拟数据库节点,其中,所述虚拟数据库节点是与各物理数据库具有映射对应关系的虚拟节点;
根据所述第一目标虚拟数据库节点确定对应的目标物理数据库;
根据所述映射对应关系将所述待存储数据传输至所述目标物理数据库中进行存储。
上述数据存储方法,通过获取待存储数据的特征标识码的哈希值,从而确定目标虚拟数据库节点,根据目标虚拟数据库节点与物理数据库的映射关系,将待存储数据划分到不同的物理数据库中存储,使得数据库的扩展能力、存储能力以及数据处理能力都得到提高,从而提高业务系统性能。
在其中一个实施例中,所述根据所述映射对应关系将所述待存储数据传输至所述目标物理数据库中进行存储的步骤之后,包括以下步骤:
获取所述待存储数据的分区标识码;
根据所述分区标识码确定所述目标物理数据库中的目标分区;
将所述待存储数据传输至所述目标分区中进行存储。
在其中一个实施例中,所述根据所述映射对应关系将所述待存储数据传输至所述目标物理数据库中进行存储的步骤,包括以下步骤:
通过传输控制协议长连接方式将所述待存储数据传输至所述目标物理数据库中进行存储。
在其中一个实施例中,所述获取待存储数据以及所述待存储数据的第一特征标识码的步骤之前,还包括以下步骤:
获取各所述物理数据库的数据量以及压力值;
根据各所述物理数据库的数据量以及压力值建立虚拟数据库节点与各所述物理数据库的映射对应关系。
一种数据查询方法,用于对上述的数据存储方法存储的数据进行查询包括以下步骤:
获取查询请求,根据所述查询请求获取待查询数据的第二特征标识码,并计算所述第二特征标识码的第二哈希值;
根据所述第二哈希值从所述虚拟数据库节点中确定第二目标虚拟数据库节点;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷米科技有限公司,未经谷米科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711476367.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于人力资源管理系统的数据处理系统
- 下一篇:会员信息管理方法