[发明专利]一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法

说明书

本发明属于AI技术领域且公开了一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法，该装置包括：一块或多块计算解码刀片，所述计算解码刀片从网络获取网络摄像头输入视频流，通过CPU自带解码器解码和预处理视频流，得到AI芯片所需的输入数据，通过PCIe将输入数据传输到AI芯片进行推理，采集AI芯片推理返回结果，将推理结果返回远程AI管理平台；从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回AI推理组件；所述交换主板通过交换机芯片将网络摄像头视频流输入到AI计算解码刀片计算解码刀片和AI推理刀片配套使用，可以一块计算解码刀片带多开AI推理刀片。本发明拥有高算力、高带宽、高密度、高可靠、低延时和灵活扩展等优点。

技术领域

本发明涉及AI技术领域，尤其涉及一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法。

背景技术

AI技术可以使计算机像人一样思考，通过软件算法可以智能的从视频或图片中识别人脸、声音和文字等信息。AI技术主要有推理、训练、控制和通信等服务器组合而成。

AI技术需要高性能计算、大容量磁盘存储数据和高带宽传输数据等条件。因此AI技术实现的计算机和方案必须具备高性能、高带宽和高密度等特点。

在AI专用芯片没有开发出来以前，传统的AI算法一般通过CPU和GPU去计算。因为传统CPU和GPU有很多无关的指令，并且没有AI算法专用指令，所以导致传统的AI技术方案的算力低、功耗高和成本高等。为了实现AI技术，目前，大部分AI技术的都是通过将算法和数据上传到云端服务器，利用云服务器的超大算力和海量存储等技术，达到AI技术所要求的算力和响应时间。这种方式存在功耗大、成本高和延迟大等缺点。

发明内容

本发明要解决的技术问题是克服现有的缺陷，提供一种嵌入式刀片弹性扩展AI边缘服务器的装置和方法，拥有高算力、高带宽、高密度、高可靠、低延时和灵活扩展等优点，可以有效解决背景技术中的问题。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种嵌入式刀片弹性扩展AI边缘服务器的装置，包括：

一块或多块计算解码刀片，所述计算解码刀片从网络获取网络摄像头输入视频流，通过CPU自带解码器解码和预处理视频流，得到AI芯片所需的输入数据，通过PCIe将输入数据传输到AI芯片进行推理，采集AI芯片推理返回结果，将推理结果返回远程AI管理平台；

AI推理组件，从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回AI推理组件；

交换主板，所述交换主板通过交换机芯片将网络摄像头视频流输入到AI计算解码刀片计算解码刀片和AI推理刀片配套使用，可以一块计算解码刀片带多开AI推理刀片；

电源，所述电源为CPU以及交换主板提供电量；

硬盘，所述硬盘与CPU连接，用于将信息储存。

作为本发明的一种优选技术方案，每块所述计算解码刀片可处理0-16路1080p视频流。

作为本发明的一种优选技术方案，所述AI推理组件为AI推理刀片，所述AI推理刀片从PCIe获取需要推理的输入数据，通过AI芯片推理出结果，通过PCIe返回计算解码刀片。

作为本发明的一种优选技术方案，主板上设置有多个带PCIe和网口的插槽，可根据性能和需求插不同数量的计算解码刀片和AI推理刀片。

作为本发明的一种优选技术方案，所述AI推理组件为一台服务器整机，不同角色的整机通过网络交换机通信。

作为本发明的一种优选技术方案，所述一台服务器整机的通信包括：