[发明专利]一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法

权利要求书

1.一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：包括：

一块或多块计算解码刀片，所述计算解码刀片从网络获取网络摄像头输入视频流，通过CPU自带解码器解码和预处理视频流，得到AI芯片所需的输入数据，通过PCIe将输入数据传输到AI芯片进行推理，采集AI芯片推理返回结果，将推理结果返回远程AI管理平台；

AI推理组件，从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回AI推理组件；

交换主板，所述交换主板通过交换机芯片将网络摄像头视频流输入到AI计算解码刀片计算解码刀片和AI推理刀片配套使用，可以一块计算解码刀片带多开AI推理刀片；

电源，所述电源为CPU以及交换主板提供电量；

硬盘，所述硬盘与CPU连接，用于将信息储存。

2.根据权利要求1所述的一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：每块所述计算解码刀片可处理0-16路1080p视频流。

3.根据权利要求1所述的一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：所述AI推理组件为AI推理刀片，所述AI推理刀片从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回计算解码刀片。

4.根据权利要求3所述的一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：主板上设置有多个带PCIe和网口的插槽，可根据性能和需求插不同数量的计算解码刀片和AI推理刀片。

5.根据权利要求1所述的一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：所述AI推理组件为一台服务器整机，不同角色的整机通过网络交换机通信。

6.根据权利要求5所述的一种嵌入式刀片弹性扩展AI边缘服务器的装置，其特征在于：所述一台服务器整机的通信包括：

通用服务器通过网络交换机往GPU训练服务器下发软件算法和数据；

通用服务器通过网络交换机往AI推理服务器下发软件算法和数据；

GPU训练服务器和AI推理服务器计算通过网络交换机返回结果给通用服务器；

通用服务器获取返回结果后进一步处理和输出结果。

7.一种嵌入式刀片弹性扩展AI边缘服务器的方法，其特征在于：包括以下步骤：

S1：多路网络摄像头、图片或视频通过网络进入AI服务器，由网络交换机将数据分发传输到不同的AI计算解码刀片；

S2：根据当前计算解码刀片和AI刀片的负载情况，做负载均衡；

S3：由AI计算解码刀片解码和预处理网络摄像头视频流，得到AI芯片所需的输入数据后；

S4：通过PCIe接口传输到AI推理刀片进行推理出数据特征；

S5：通过PCIe接口将特征数据回传到计算解码刀片；

S6：通过计算解码刀片的网络回传到管理平台。