[发明专利]用于批量和实时特征计算的系统和方法在审
| 申请号: | 201910789592.2 | 申请日: | 2019-08-26 |
| 公开(公告)号: | CN110502579A | 公开(公告)日: | 2019-11-26 |
| 发明(设计)人: | 穆妮;王太泽 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/21;G06N20/00;G06Q10/04 |
| 代理公司: | 11286 北京铭硕知识产权代理有限公司 | 代理人: | 董钢;韩明星<国际申请>=<国际公布>= |
| 地址: | 100085 北京市海淀区上*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | 本公开提供了一种用于批量和实时特征计算的系统和方法,所述系统包括:管理服务器、一个或更多个批量特征计算单元、一个或更多个分布式计算单元、一个或更多个实时特征计算单元、离线数据库、以及实时数据库。所述管理服务器接收包含特征计算逻辑的脚本,在批量特征计算场景下,启动批量特征计算,并且在实时特征计算场景下,部署所述脚本以产生实时计算计划,其中,包含所述特征计算逻辑的脚本针对批量特征计算逻辑和实时特征计算逻辑具有统一性,实时数据库从离线数据库获取并存储用于实时特征计算的数据。根据本公开,可通过所述脚本统一批量特征计算逻辑和实时特征计算逻辑。 | ||
| 搜索关键词: | 实时特征 特征计算 脚本 管理服务器 离线数据库 实时数据库 计算逻辑 特征计算单元 分布式计算 获取并存储 场景 计算单元 实时计算 部署 统一 | ||
【主权项】:
1.一种用于批量和实时特征计算的系统,其中,所述系统包括:/n管理服务器,接收包含特征计算逻辑的脚本,在批量特征计算场景下,从注册到管理服务器的批量特征计算单元中选择用于批量特征计算的批量特征计算单元以启动批量特征计算,并且在实时特征计算场景下,向注册到管理服务器的实时特征计算单元部署所述脚本以产生实时计算计划,并从注册到管理服务器的实时特征计算单元中选择在执行实时计算计划时使用的实时特征计算单元,其中,包含所述特征计算逻辑的脚本针对批量特征计算逻辑和实时特征计算逻辑具有统一性;/n一个或更多个批量特征计算单元,当被启动时注册到管理服务器,并且当被选择以启动批量特征计算时产生批量计算任务,并且将所述批量计算任务发送给一个或更多个分布式计算单元;/n所述一个或更多个分布式计算单元,执行所述批量计算任务,以基于所述脚本和离线数据库存储的数据进行批量特征计算;/n一个或更多个实时特征计算单元,当被启动时注册到管理服务器,并且当被选择以执行实时计算计划时,基于实时数据库存储的数据和所述脚本进行实时特征计算;/n离线数据库,存储用于批量特征计算的数据;/n实时数据库,从离线数据库获取并存储用于实时特征计算的数据。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910789592.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种快速数据上链的共识机制
- 下一篇:一种集群数据库系统资源管控调度的方法





