[发明专利]一种低延迟的机器学习即服务的生成方法

权利要求书

1.一种低延迟的机器学习即服务的生成方法，其特征在于，包括：模型抽象层、模型参数寻优层、模型存储层、模型管理层、事件服务层、模型监测层；

模型抽象层提供了一个通用的 API，可以抽象出现有机器学习框架和模型的异构性，这一层模型可以被修改或直接交给应用程序；

模型参数寻优层位于模型抽象层的上方，负责动态选择、组合和优化预测模型的参数，以提供比原始模型更准确和可靠的预测，这一层产生的模型参数或模型文件会上传到模型存储层，并通过主节点分发给每个工作节点，告知工作节点新模型的名称、参数实体以及版本号；

模型管理层通过模型存储层的信息对模型进行管理，以实现应用端可以动态并无感知的情况下获取最优的预测服务；

事件服务层，这层负责与应用端交互，并存储应用端用户请求的信息，反馈给模型层，以实现动态自动优化模型参数；

模型监测层负责对上线模型服务的调用监测，以及时发现调用过程中出现的问题，提高模型运维的透明性。

2.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：为了实现通用，在模型抽象层，对各大机器学习框架进行异构，提供跨机器学习框架的通用接口，这一层由一个预测缓存、一个自适应查询批处理组建和一组通过 RPC 协议连接到机器学习框架的服务组成，这种模块化的体系使得缓存和批处理机制能够跨框架共享，且由RPC 的特性，还能实现跨语言共享，比如采用的机器学习框架底层的处理由高性能的 C++实现，而抽象层通过 RPC 转换，在其他层的使用可以转换为其他开发高效的语言来进行，同时还可以扩展到其他框架，以简化新框架的添加，实现模型抽象。

3.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：为了实现低延迟和高吞吐量的预测，在模型抽象层和模型存储层中，基于每个模型缓存进行预测，并在给定查询延迟目标的情况下实现自适应批处理以最大化吞吐量和并发；对于许多互联网应用程序，比如推荐系统，通常需要对热门产品或内容的推荐，通过维护预测和参数缓存，可以在不改变模型的情况下提供频繁查询服务，消除额外的模型加载成本，大大降低延迟和系统的负载；模型缓存要自适应选择最有参数，在用户请求预测服务的时候，反馈很可能会预测呈现后很快返回，比如 DSP 广告投放后用户是否点击或下载会很快在应用端得到反馈，运用模型缓存层和事件服务层，及时将事件服务层获取的用户反馈以及其特征信息，来调整缓存层的模型选择策略。

4.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：在模型存储层除了处理模型参数的存储、预测缓存之外，还负责批处理的功能，批处理组建将受到的预测查询流转换成批次组，批次组与机器学习框架所涉及的工作量更接近，同时分摊RPC 和系统开销，目的也是提高吞吐量和硬件资源的利用率，这类请求需要信息阻塞以给批处理完成所有查询的预测一定的时间。

5.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：为了进一步提高预测服务的准确性和鲁棒性，模型参数自适应寻优层，根据应用端反馈动态适配已部署的模型，并将预测输出进行组合，当总体准确率低于给定阈值时触发模型框架进行全量模型的更新，通过允许同时部署多个候选模型并依赖用户的实时反馈来动态自适应确定最优模型或模型集成，简化新模型的部署流程，另外通过应用端的整个生命周期内不断学习反馈，自动补偿失败模型造成的预测误差，整个过程无需人工干预，这一层用来提高应用程序的准确性和预测可信度及鲁棒性。

6.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：模型管理层将应用程序与机器学习框架隔离，对新模型或框架部署到正在运行的应用过程采取热插件部署，即不影响正在运行的服务的情况下，对模型进行更新或新增模型。

7.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：设立事件服务层，负责动态收集用户反馈数据，并动态传送给模型参数寻优层对已部署模型进行局部调优，当局部最优不满足实际需求时再通知机器学习框架进行大面积的模型更新。

8.根据权利要求1所述的一种低延迟的机器学习即服务的生成方法，其特征在于：通过模型监测层对上线后的模型服务进行实时的监测，及时反馈调用过程出现的问题，并收集用户请求数据并发送给事件服务层进行处理和存储。