[发明专利]响应于来自多个客户端的机器学习请求

权利要求书

1.一种方法，包括：

用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求；

响应于第一客户端请求，用计算设备向模型服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集；

用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求；以及

用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向模型服务器发送附加调用。

2.根据权利要求1所述的方法，并且进一步包括：

用计算设备从标识的传感器接收数据集；和

用计算设备对数据集施行预处理以生成预处理数据。

3.根据权利要求2所述的方法，并且进一步包括：

用计算设备向模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据。

4.根据权利要求2所述的方法，其中对数据集的预处理由计算设备中的预处理流水线施行，并且其中所述预处理流水线包括以由配置文件定义的方式链接在一起的多个处理单元。

5.根据权利要求4所述的方法，其中每个处理单元接收输入向量，处理输入向量，并且输出输出向量。

6.根据权利要求4所述的方法，其中在预处理流水线开始处的处理单元中的第一个处理单元从标识的传感器接收数据集，并且在预处理流水线结束处的处理单元中的最后一个处理单元与模型服务器通信。

7.根据权利要求6所述的方法，其中所述处理单元中的最后一个处理单元向模型服务器发送预处理数据并接收响应数据。

8.根据权利要求1所述的方法，其中所述计算设备、第一客户端和第二客户端全部是相同本地网络的一部分。

9.根据权利要求8所述的方法，其中所述模型服务器是相同本地网络的一部分。

10.根据权利要求8所述的方法，其中所述模型服务器不是相同本地网络的一部分。

11.根据权利要求1所述的方法，其中所述标识的传感器是相机传感器，并且来自标识的传感器的数据集是视频流。

12.一种存储指令的非暂时性计算机可读存储介质，当由处理器执行时，所述指令使处理器进行以下操作：

从第一客户端接收标识机器学习模型和传感器的第一机器学习客户端请求；

响应于第一机器学习客户端请求，使机器学习模型服务器将标识的机器学习模型应用于来自标识的传感器的传感器数据集并接收响应推断数据；

从至少一个附加客户端接收标识与第一机器学习客户端请求相同的机器学习模型和传感器的至少一个附加机器学习客户端请求；以及

向第一客户端和所述至少一个附加客户端二者发送响应于第一机器学习客户端请求而接收的响应推断数据。

13.根据权利要求12所述的非暂时性计算机可读存储介质，存储指令，当由处理器执行时，所述指令进一步使处理器进行以下操作：

从标识的传感器接收传感器数据集；

对传感器数据集施行预处理以生成预处理数据；以及

向机器学习模型服务器发送预处理数据以将标识的机器学习模型应用于预处理数据。