[发明专利]响应于来自多个客户端的机器学习请求

说明书

一种方法包括用计算设备从第一客户端接收标识机器学习模型和传感器的第一客户端请求。该方法包括响应于第一客户端请求，用计算设备向服务器发送调用以将标识的机器学习模型应用于来自标识的传感器的数据集。该方法包括用计算设备从第二客户端接收标识与第一客户端请求相同的机器学习模型和传感器的第二客户端请求。该方法包括用计算设备向第一客户端和第二客户端二者发送来自标识的机器学习模型的响应数据，而不响应于第二客户端请求而向服务器发送附加调用。

背景技术

深度学习是机器学习和人工智能的专门领域，其可以用在诸如计算机视觉、语音识别和文本翻译之类的不同领域中。在计算机视觉中，计算机学习如何解释图像来检测人并标识对象或场景。

附图说明

图1是图示根据一个示例的包括深度学习服务器的机器学习系统的框图。

图2是图示根据一个示例的图1中所示出的深度学习服务器的元件的框图。

图3是图示图1中所示出的机器学习系统的示例系统实现的框图。

图4是图示根据一个示例的预处理流水线的图解。

图5是图示根据一个示例的预处理流水线的图解，该预处理流水线接收单个视频流并为两个不同的机器学习模型预处理该视频流。

图6是图示根据一个示例的耦合到机器学习模型服务器的深度学习服务器的元件的框图。

图7是图示根据一个示例的响应于来自多个客户端的机器学习请求的方法的流程图。

具体实施方式

在以下详细描述中，对附图进行参考，附图形成了本发明的一部分，并且其中通过图示的方式示出了其中可以实践本公开的特定示例。将理解，在不脱离本公开的范围的情况下，可以利用其它示例，并且可以进行结构或逻辑改变。因此，以下详细描述不应被理解为限制性意义，并且本公开的范围由所附权利要求限定。将理解，除非以其它方式具体指出，否则本文中描述的各种示例的特征可以部分或全部彼此组合。

深度学习是机器学习和人工智能的专门领域，其可以用在诸如计算机视觉、语音识别和文本翻译之类的不同领域中。在计算机视觉中，计算机学习如何解释图像来检测人并标识对象或场景。深度学习模型通常使用广泛的资源，比如存储器和CPU能力。使更简单的客户端（诸如智能电话、数字助理、机器人或甚至具有低端图形的PC）来运行那些模型可能限制用户可以同时运行的模型的大小、准确度和数量。如果用户想要从若干视频源进行逐帧分析，则这可能超出了设备的能力。

尽管机器学习/深度学习应用可能部署在云中，但是某些应用具有激发本地部署的特定问题，诸如隐私、安全性、数据带宽和实时低时延决策。就隐私和安全性而言，有时存在信息是否离开家庭（例如，家庭的视频或语音）或办公室（例如，敏感信息的视频或语音）的本地网络的担心。关于数据带宽和时延，对于涉及处理视频流的情况，将数据从高分辨率帧持续发送到云涉及大的带宽，并且使其难以具有实时（或接近实时）的结果。对外部网络条件的依赖性可能导致无法实时进行推断（以及因此进行决策）。

一些边缘设备可能能够在边缘处理机器学习。然而，如果要施行多个任务，则这样的设备可能是不足够的。例如，如果用户想要在房屋的多个相机流中执行对象检测、面部识别和语义分割，则边缘设备可能能够执行这些任务中的一个，但是可能不能够执行所有这些任务。无限地复制它们可能变得低效且繁琐。