[发明专利]数据处理方法、装置、设备及存储介质

说明书

本发明涉及金融科技领域，本发明公开了一种数据处理方法、装置、设备及存储介质，所述数据处理方法包括：获取各特征分箱的分箱分位点，按照所述分箱分位点对各特征分箱的特征数据块进行分组，以生成各特征分箱与各特征分箱的特征数据块之间的对应关系；若检测到分箱调整指令，则根据所述分箱调整指令和所述对应关系，从各特征分箱中确定待调整分箱，以及所述待调整分箱的待调整特征数据块；对所述待调整分箱和所述待调整特征数据块进行调整处理，并输出调整处理结果。本发明解决传统的分箱数据调整方法面对海量数据时，数据响应不及时导致数据处理效率低下的技术问题。

技术领域

本发明涉及金融科技技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融工业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

特征分箱是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。在现实使用过程中，用户会根据业务经验调整分箱结果，而分箱调整会导致箱子分位点发生变化，引起箱子内统计信息发生变化，从而需要重新统计。然而，当面对海量数据时，重新统计大量数据将导致统计过程变得繁重，使得统计过程过于耗时，大大降低了特征分箱的数据响应速度，造成数据响应不及时，导致运行性能大幅度降低，从而降低了系统的数据处理效率。

发明内容

本发明的主要目的在于提供一种数据处理方法、装置、设备及存储介质，旨在解决传统的分箱数据调整方法面对海量数据时，数据响应不及时导致数据处理效率低下的技术问题。

为实现上述目的，本发明实施例提供一种数据处理方法，所述数据处理方法包括：

获取各特征分箱的分箱分位点，按照所述分箱分位点对各特征分箱的特征数据块进行分组，以生成各特征分箱与各特征分箱的特征数据块之间的对应关系；

若检测到分箱调整指令，则根据所述分箱调整指令和所述对应关系，从各特征分箱中确定待调整分箱，以及所述待调整分箱的待调整特征数据块；

对所述待调整分箱和所述待调整特征数据块进行调整处理，并输出调整处理结果。

可选地，所述按照所述分箱分位点对各特征分箱的特征数据块进行分组，以生成各特征分箱与各特征分箱的特征数据块之间的对应关系，包括：

对各特征分箱的特征数据块进行缓存处理，并按照分箱分位点对各特征分箱的特征数据块进行分组，以生成各特征分箱与各特征分箱的特征数据块之间的对应关系；

所述对所述待调整分箱和所述待调整特征数据块进行调整处理，并输出调整处理结果，包括：

在缓存中对所述待调整分箱和所述待调整特征数据块进行调整处理，并输出调整处理结果。

可选地，所述在缓存中对所述待调整分箱和所述待调整特征数据块进行调整处理，包括：

在缓存中获取所述待调整特征数据块的待调整分位点，并获取所述分箱调整指令的指令类型；

根据所述指令类型、所述待调整分位点和所述分箱分位点，对所述待调整分箱和所述待调整特征数据块进行缓存调整处理。

可选地，所述根据所述指令类型、所述待调整分位点和所述分箱分位点，对所述待调整分箱和所述待调整特征数据块进行缓存调整处理，包括：

若所述指令类型为分箱拆分类型，则根据所述待调整分位点和所述分箱分位点，对所述待调整分箱和所述待调整特征数据块进行拆分处理，以获得多个目标拆分分箱，以及各目标拆分分箱对应的目标拆分数据块；