[发明专利]数据分析的方法、装置

说明书

本发明提供一种数据分析的方法、装置，能够同时满足批量数据的实时分析和实时访问要求。本发明的数据分析的方法在列式数据库和分布式图查询引擎之间设置有接口适配层，该方法包括：将所述分布式图查询引擎的图操作命令进行转换并发送至所述列式数据库。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据分析的方法、装置。

背景技术

社区关系网络是用户之间通过某些联系而形成网状关联，例如相同的收货手机号码、相同的下单IP(Internet Protocol Address网际协议地址)地址、相同的手机号码和IP地址等组合关系等，通过分析社区关系网络的网络密度、边数量、三元闭包等特性，可以很好的分析出黄牛群体、刷单群体等潜在风险群体。

基于图模型的社区关系网络注重实体之间的相互关联，具有高度复杂性，在电子商务、移动运营、风险控制等领域的应用越来越广泛，对关系网络数据的实时访问和实时分析的需求也越来越多。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、开源免费的图数据库有的不支持分布式(例如图形数据库neo4j)，有的已经停止更新(例如图数据库titan)，不足以满足大数据量的社区关系数据的实时分析和访问功能；

2、HBase(非关系型分布式数据库)、MySql(关系型数据库管理系统)、Cassandra(开源分布式非关系型数据库系统)等虽然可以满足大数据量的数据实时访问功能，但是它不能支持批量数据的实时分析功能，必须将HBase、Cassandra、Mysql中的关系数据进行离线数据移动到HDFS(分布式文件系统)上，再进行数据分析，业务处理流程复杂、速度慢，不能及时的响应变化的业务需求；

3、gremlin(图计算框架TinkerPop的图查询语言)是一种复杂的查询语言，对使用者有较高要求。

因此，现有的技术方案不能同时满足批量数据的实时分析和实时访问要求。

发明内容

有鉴于此，本发明实施例提供一种数据分析的方法、装置、电子设备和可读存储介质，能够同时满足批量数据的实时分析和实时访问要求。

为实现上述目的，根据本发明的一个方面，提供了一种数据分析的方法。

本发明的一种数据分析的方法，其中，在列式数据库和分布式图查询引擎之间设置有接口适配层，该方法包括：将所述分布式图查询引擎的图操作命令进行转换并发送至所述列式数据库。

可选地，将所述分布式图查询引擎的图操作命令进行转换并发送至所述列式数据库包括：接收所述分布式图查询引擎发送的图操作命令；将所述图操作命令转换为列式数据库命令；向所述列式数据库发送所述列式数据库命令。

可选地，所述图操作命令包括：增加数据命令、删除数据命令、修改数据命令、查询数据命令；所述图操作命令携带有标识信息或统计特征。

可选地，当所述图操作命令为所述增加数据命令时，向所述列式数据库发送所述增加数据命令；将线上关系数据和离线关系数据输入到所述列式数据库的数据库表。

可选地，将线上关系数据和离线关系数据输入到所述列式数据库的数据库表包括：将处于队列中的所述线上关系数据输入到所述数据库表；以及，将所述离线关系数据中具有相同属性或相同属性组合的关系数据进行关联，得到关联数据，将所述关联数据输入到所述数据库表。

可选地，当所述图操作命令为所述查询数据命令时；根据所述查询数据命令携带的所述标识信息查询所述列式数据库，得到所述关系网络并进行展示；或，根据所述查询数据命令携带的所述统计特征查询所述列式数据库，得到所述关系网络，根据所述关系网络生成所述分析表。

可选地，将所述关系网络或所述分析表在应用层缓存，并设置缓存数量和过期时间。