[发明专利]响应数据处理请求的方法、装置、设备以及存储介质

说明书

本申请实施例属于计算机技术领域，提供了一种响应数据处理请求的方法、装置、设备以及存储介质，旨在提高数据的处理效率、降低对模型的存储压力，所述方法包括：根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；响应于接收到的数据处理请求，在所述多个模型中，确定所述数据处理请求对应的目标版本；基于所述映射关系，确定属于所述目标版本的目标模型中多个分片各自所映射的候选存储设备；从各所述候选存储设备中确定目标存储设备，并将所述数据处理请求定向至所述目标存储设备。

技术领域

本申请涉及计算机技术领域，特别是涉及一种响应数据处理请求的方法、装置、设备及存储介质。

背景技术

随着计算机技术的不断发展，出现了机器学习模型。机器学习模型是专门研究计算机怎样模拟或实现人类的学习行为，通过多次训练以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能的模型。

其中，对于处理同一个数据处理任务的模型，往往会有多个版本(version)，例如，随着时间的推移，会有1.0、2.0、3.0等版本的模型，这些不同版本的模型都可以用于进行同一个数据处理任务，以进行实验对比，因此，随着版本的不断更新，在服务器上存储的模型版本数据的量也越来越大。

相关技术中，是在一台存储设备上部署多个版本的模型，由这一台存储设备处理不同版本的模型所要处理的数据，但当所要的数据量较大或者模型本身较大时单机内存便无法满足模型的存储需求和数据的处理需求，如此，便导致了对数据处理的效率低、对模型的存储的压力高的问题。

发明内容

为了解决上述问题，本申请提供了一种响应数据处理请求的方法、装置、对话系统、设备及存储介质，旨在提高数据的处理效率、降低对模型的存储压力。

本公开实施例的第一方面，提供了一种响应数据处理请求的方法，所述方法包括：

根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；

响应于接收到的数据处理请求，在所述多个模型中，确定所述数据处理请求对应的目标版本；

基于所述映射关系，确定属于所述目标版本的目标模型中多个分片各自所映射的候选存储设备；

从各所述候选存储设备中确定目标存储设备，并将所述数据处理请求定向至所述目标存储设备。

可选地，根据多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系，包括：

获得所述多个模型的目标分片数量以及所述多个存储设备各自的标识；

基于所述版本流量配比、所述多个模型各自的分片数量以及存储集群中的多个存储设备各自的标识，确定所述多个模型与所述多个存储设备之间的映射关系。

可选地，基于所述版本流量配比、所述多个模型各自的分片数量以及存储集群中的多个存储设备各自的标识，确定所述多个模型与所述多个存储设备之间的映射关系，包括：

根据所述版本流量配比，确定相应数量的多个虚拟存储节点；

根据所述多个模型各自的分片数量以及所述多个存储设备各自的标识，确定每个存储设备对应的分片标识，并建立每个分片标识与至少一个存储设备之间的第一映射关系；

根据所述多个虚拟存储节点的数量、所述多个存储设备各自的标识以及每个模型各自的分片数量，确定每个存储设备对应的虚拟节点标识，并建立每个虚拟存储节点与至少一个存储设备之间的第二映射关系；