[发明专利]一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统

说明书

本发明公开了一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统，属于大数据技术领域，通过模拟数据库常规操作，获取性能指标来测试数据库的数据处理能力；通过模拟储容量达到峰值，查看能否平滑扩展来测试数据库的可扩展性；通过测试数据处理能力和可扩展性实现对分布式数据库系统的测试。一种基于用户大数据行为反馈数据的分布式数据库测试系统，包括高扩展性测试模块、高并发性测试模块、高可用性测试模块和性能测试模块。本发明通过分析数据处理能力和可扩展性进行分布式数据库的测试，形成标准、规范的测试方法。为现在新兴的分布式数据库系统提供测试方法，有益于分布式数据库的发展和快速推广。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统。

背景技术

分布式数据库是随着在线操作性的大数据的发展而诞生的，强调满足大数据在实时高并发请求压力下的交互业务场景。“大数据”应用正在被更多的人接受，又由于分布式数据库的落地更简单，开发运维上更接近与传统数据管理系统。因此近年来分布式数据库市场也在快速地发展壮大。

分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。另一方面，随着数据量越来越大，关系型数据库开始暴露出一些难以克服的缺点，以NoSQL为代表的非关系型数据库，其高可扩展性、高并发性等优势出现了快速发展，一时间市场上出现了大量的key-value存储系统、文档型数据库等NoSQL数据库产品。NoSQL类型数据库正日渐成为大数据时代下分布式数据库领域的主力。

目前，已经有很多关系型数据库、传统数据库的测试方法、标准，但对于新兴的分布式数据库系统却缺乏系统的测试理论和方法。

发明内容

本发明的技术任务是提供一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统，通过分析数据处理能力和可扩展性进行分布式数据库的测试，形成标准、规范的测试方法。

本发明解决其技术问题所采用的技术方案是：

一种基于用户大数据行为反馈数据的分布式数据库测试方法，通过模拟数据库常规操作，获取性能指标来测试数据库的数据处理能力；通过模拟储容量达到峰值，查看能否平滑扩展来测试数据库的可扩展性；

通过测试数据处理能力和可扩展性实现对分布式数据库系统的测试。

模拟大数据用户行为，基于大数据用户行为进行分析从而达到对分布式数据库进行测试的目的。

进一步的，对分布式数据库系统的测试包括高扩展性、高并发性、高可用性和性能测试，

高扩展性：模拟数量达到各数据库节点的允许峰值，检验分布式数据库系统存储节点是否能平滑扩展；

高并发性：模拟高并发，同时对分布式数据库系统进行随机读写，统计分布式数据库系统的平均事务处理时间；

高可用性：模拟分布式数据库系统中单个节点、多个节点故障，记录分布式数据库是否正常在用；

性能：模拟用户大数据运算和存储，记录其响应时间。

具体的，所述高扩展性的具体测试方法如下：

1)、使用tpc-ds测试工具，产生测试数据，

查看后台，分布式数据库的节点是否增加；