[发明专利]一种数据存储方法与系统

说明书

本发明公开了一种数据存储方法与系统，所述方法包括：通过pyspark任务读取数据，对数据进行特征计算，获取特征数据；调用python‑kafka‑sdk将特征数据写入kafka消息中间件中；通过SparkStreaming实时流任务实时处理kafka消息中间件中的特征数据；将特征数据经过处理后通过scene_type字段进行离线存储及/或在线存储；通过sdk对应地查询离线存储及/或所述在线存储的特征数据后输出。本发明通过技术架构手段实现了特征数据的多版本、动态特征可更新的数据存储，可以实现离线特征存储系统、在线特征存储系统的不同系统特征数据的实时写入，用户可以根据需求进行全量或增量数据的更新操作且不消耗多余集群资源，可以使用于推荐，算法训练，运营分析等场景中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于推荐场景的数据存储方法与系统。

背景技术

随着互联网的发展和普及，互联网上的信息资源呈指数膨胀，在此背景下推荐系统随之产生并被逐渐应用，很多产品可以根据用户的信息，有针对性地向用户推荐感兴趣的内容，为用户提供个性化的服务。

推荐系统作为一个广泛应用的信息过滤系统，在很多领域都取得了巨大的成功，在电子商务上，推荐系统为用户提供个性化产品，发掘用户潜在需求；在搜索引擎上，帮助用户快速找到所需信息；在新闻推荐上，使得用户不错过任何一条有趣的信息。在这些精准推荐的背后离不开大量的离线特征、在线特征对推荐算法模型和推荐引擎的支撑，因此特征存储系统成为线上推荐系统的重要支柱。

目前常用的特征存储方法为：数据经过特征生产计算写入离线特征存储系统，同步任务定时从离线特征系统全量拉取特征信息写入在线特征存储系统。但上述方法具有以下缺点：

1.离线特征和在线特征通过同步任务定时同步，所以在线特征系统中特征信息实时性无法保证；

2.每次同步特征数据时，需要启动同步任务全量拉取数据，十分耗费集群资源；

3.在线特征数据由离线特征数据导入，数据无法分在线、离线做不同版本存储。

发明内容

本发明针对上述的关于离线、在线数据无法实时同步的技术问题，提出一种基于推荐场景的数据存储方法与系统。

第一方面，本申请实施例提供了一种基于推荐场景的数据存储方法，包括：

特征计算步骤：通过pyspark任务读取数据，对所述数据进行特征计算，获取特征数据；

数据存储步骤：将所述特征数据经过处理后进行存储；

数据查询步骤：通过sdk查询所述特征数据后输出。

上述基于推荐场景的数据存储方法，其中，所述数据存储步骤包括：

中间存储步骤：调用python-kafka-sdk将所述特征数据写入kafka消息中间件中；

数据处理步骤：通过SparkStreaming实时流任务实时处理所述kafka消息中间件中的所述特征数据；

数据写入步骤：对处理完成的所述特征数据进行离线存储及/或在线存储。

上述基于推荐场景的数据存储方法，其中，所述数据写入步骤还包括通过scene_type字段将所述特征数据进行离线存储及/或在线存储。

上述基于推荐场景的数据存储方法，其中，所述数据查询步骤还包括，通过sdk对应地查询所述离线存储及/或所述在线存储的所述特征数据后输出。

上述基于推荐场景的数据存储方法，其中，通过version指定数据版本信息。

第二方面，本申请实施例提供了一种基于推荐场景的数据存储系统，包括：