[发明专利]一种基于实时数仓作数据采集的风控统计方法及装置

说明书

本发明公开了一种基于实时数仓作数据采集的风控统计方法及装置，其中方法包括：获取上游数据源，分别从上游数据源获取实时同步数据；将实时同步数据分别输送至数据仓库的数据准备区，以转换为相应的数据单表；将数据单表输送至数据仓库明细层；获取来自数据仓库明细层的数据宽表，所述数据宽表基于数据单表进行数据关联后所生成；将数据宽表转发至消息队列；在获取风控查询指令时，使风控引擎从消息队列获取数据宽表并进行统计，以得出实时风控结果。本发明在风控引擎之前进行数据单表关联以获取数据宽表，风控引擎直接对关联性较高的数据宽表进行处理统计，能显著地降低风控引擎的工作复杂性，能有效地提高风控引擎的效率，以提高实时性。

技术领域

本发明涉及实时数仓应用至风控引擎的技术领域，具体涉及一种基于实时数仓作数据采集的风控统计方法及装置。

背景技术

随着信息社会的日益发展，信息也成为一种资源。其中，出现了用于降低信息风险的风控引擎，现有的风控引擎一般需要获取多方的数据输入，数据分别来自不同的上游系统，风控引擎在获取多方上游系统的数据后，再进行处理，以获取风控结果。

当风控引擎应用到车辆的导航路线计算中时，需要大量的实时数据进行统计，以获取实时的风控分析结果。现有的风控系统在获取多个上游系统的大量数据后需要进行数据处理后再进行风控统计，从而得出风控结果，风控系统需要处理数据的步骤繁杂，会导致风控引擎复杂性较高，且风控结果的处理效率较低，进而使风控结果的实时性较低，不利于应用到车辆导航领域中。此外，当风控系统需要同时处理大量数据时，风控系统的负载较大且出错几率可能增大，不利于风控统计结果的实时性和准确性。

为此，亟需发明一种适用于车辆导航的实时风控引擎或对风控引擎的数据处理方法进行改进。

发明内容

为了克服上述现有的风控引擎的数据统计处理方法实时性较低的技术缺陷，本发明提供一种能实现实时性，且能简化风控引擎结构的，基于实时数仓作数据采集的风控统计方法及装置。

为了解决上述问题，本发明按以下技术方案予以实现的：

第一方面，本发明公开了一种基于实时数仓作数据采集的风控统计方法，包括如下步骤：

获取上游数据源，分别从上游数据源获取实时同步数据；

将实时同步数据分别输送至数据仓库的数据准备区，以转换为相应的数据单表；

将数据单表输送至数据仓库明细层；

获取来自数据仓库明细层的数据宽表，所述数据宽表基于数据单表进行数据关联后所生成；

将数据宽表转发至消息队列；

在获取风控查询指令时，使风控引擎从消息队列获取数据宽表并进行统计，以得出实时风控结果。

结合第一方面的第1种优选实施，所述出实时风控结果后，还包括：

将数据宽表以及对应的实时风控结果分别备份至数据仓库中以便进行回溯。

结合第一方面的第2种优选实施，所述基于数据单表进行数据关联，具体包括：

数据明细层获取数据单表；

基于物化视图功能，分别对数据单表进行关联表查询，以实现数据单表的数据关联；

获取相应的数据宽表。

结合第一方面的第3种优选实施，所述基于物化视图功能，分别对数据单表进行关联表查询，具体包括：

基于数据单表，建立相应的物化视图日志；

建立相应的物化视图；

通过物化视图分别对数据单表进行对应的关联；