[发明专利]自主可控数据库分布式集群的流式数据处理方法

权利要求书

1.一种自主可控数据库分布式集群的流式数据处理方法，其特征在于，包括：

通过分布式可用集群架构获取数据流；

对所述数据流进行筛选，以将其中的有效数据存储到所述分布式可用集群架的数据表中。

2.根据权利要求1所述的自主可控数据库分布式集群的流式数据处理方法，其特征在于，所述方法还包括：通过连接池工具对所述分布式可用集群进行负载均衡。

3.根据权利要求1所述的自主可控数据库分布式集群的流式数据处理方法，其特征在于，所述方法还包括：通过连接池工具对所述分布式可用集群进行负载均衡。

4.根据权利要求3所述的自主可控数据库分布式集群的流式数据处理方法，其特征在于，所述连接池工具通过以下方法装配到所述自主可控数据库分布式集群内：

1)安装pgbouncer

yum-y install pgbouncer

2)配置pgbouncer

vim/etc/pgbouncer/pgbouncer.ini修改以下内容

auth_type＝md5

admin_users＝db_admin_user

stats_users＝db_admin_user

ignore_startup_parameters＝extra_float_digits

max_client_conn＝1000

default_pool_size＝50

3)修改认证文件

查询md5码并保存

select usename,passwd from pg_shadow order by 1；

添加认证

echo'dbusermd5xxx'/etc/pgbouncer/userlist.txt

修改数据库认证文件

echo‘hostallall127.0.0.1/32md5’/pgdata/data/pg_hba.conf

4)启动连接池

pgbouncer-d/etc/pgbouncer/pgbouncer.ini

将所述连接池通过连接池工具对所述分布式可用集群进行负载均衡。

5.根据权利要求1所述的自主可控数据库分布式集群的流式数据处理方法，其特征在于，所述自主可控数据库分布式集群通过以下步骤进行部署：

1)piplinedb安装配置

使用rpm安装插件

rpm-ivh pipelinedb-postgresql-pg version_pipelindb version.rpm

修改postgresql.conf中相关配置

shared_preload_libraries＝'pipelinedb'

max_worker_processes＝128

数据库中创建扩展

psql-cCREATE EXTENSION pipelinedb

2)piplinedb cluster安装配置

安装集群软件

rpm-ivh pipeline_cluster-version.rpm

修改数据节点数据库认证文件并生效

echo‘host all all 192.168.10.0/24’/pgdata/data/pg_hba.conf

pg_ctl reload

通过工具快速初始化集群

pipeline-cluster-init-c pipelinedb.conf-D data_dir–S。

6.根据权利要求1所述的自主可控数据库分布式集群的流式数据处理方法，其特征在于，对所述数据流进行筛选，以将其中的有效数据存储到所述分布式可用集群架的数据表中，包括：

将请求分发至对应的数据节点；

为每一数据节点创建数据流，为输入数据创建载体；

对数据进行转换，并通过流视图对数据流进行筛选，舍弃无效数据，然后增量更新数据表。