[发明专利]基于开源列式数据库的画像应用方法、装置及存储介质

说明书

本发明公开了一种基于开源列式数据库的画像应用方法，包括：采集当前电视终端的日志数据，并将采集到的所述日志数据写入预设的开源列式数据库存储；接收前端页面发送的数据库语句并执行；根据当前执行的数据库语句自所述预设的开源列式数据库查询对应的日志数据显示。本发明还公开了一种电视及存储介质。本发明通过构建基于开源列式数据库的数据处理框架，直接执行SQL语句以在clickhouse中用sql秒级响应出用户画像结果，提高了画像系统的响应速度以及效率。

技术领域

本发明涉及离线画像系统显示效率的技术领域，尤其涉及一种基于开源列式数据库的画像应用方法、装置及存储介质。

背景技术

随着时代的发展进步，越来越多的行业对数据的响应反馈要求很快，公司内部开发的离线用户画像系统(供运营部门分析数据，决策)也已提出了更高的要求，传统的用户画像系统一般都是离线系统，这类用户画像是把当天业务方需要的用户画像提前算好，而后在有显示需求的时候再提取算好的用户画像显示查看，其画像显示的响应速度慢，时效性差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于开源列式数据库的画像应用方法、装置及存储介质，旨在解决现有用户画像离线系统在应用时需要将当天业务方用户画像提前算好后进行调用，在应用效率上来说响应速度慢，并且时效性差的技术问题。

为实现上述目的，本发明提供一种基于开源列式数据库的画像应用方法，包括以下内容：

采集当前电视终端的日志数据，并将采集到的所述日志数据写入预设的开源列式数据库存储；

接收前端页面发送的数据库语句并执行；

根据当前执行的数据库语句自所述预设的开源列式数据库查询对应的日志数据显示。

可选地，所述采集当前电视终端的日志数据，并将采集到的所述日志数据写入预设的开源列式数据库存储的步骤，包括：

将采集到的所述日志数据写入kafka消息队列，并以flink消费所述kafka消息队列筛选日志数据；

将筛选后的日志数据存储至预设的开源列式数据库存储。

可选地，所述将采集到的所述日志数据写入kafka消息队列，并以flink消费所述kafka消息队列以筛选日志数据的步骤，包括：

获取所述flink消费业务逻辑；

通过所述flink调用获取到的消费业务逻辑消费所述kafka消息队列以筛选日志数据。

可选地，所述将采集到的所述日志数据写入kafka消息队列，并以flink消费所述kafka消息队列以筛选日志数据的步骤，包括：

确认消费所述kafka消息队列的访问量；

若所述访问量超出预设访问量阈值时，以预设流量限制消费的访问量。

可选地，所述将筛选后的日志数据存储至预设的开源列式数据库存储的步骤，包括：

整合筛选后的日志数据；

将整合后的日志数据存储至预设的开源列式数据库存储。

可选地，所述根据当前执行的数据库语句自所述预设的开源列式数据库查询对应的日志数据显示的步骤，包括：

确认所述数据库语句的业务模型；

根据所述业务模型显示查询到的所述日志数据。

可选地，所述采集当前电视终端的日志数据，并将采集到的所述日志数据写入预设的开源列式数据库存储的步骤之前，还包括：