[发明专利]一种基于NUMA架构的飞腾平台下高性能网卡性能优化方法

说明书

一种基于NUMA架构的飞腾平台下高性能网卡性能优化方法，所述方法包括步骤：处理网络中断的内存结点申请；扩充所述网络中断的数据收发队列；消除所述网络中断反转。本发明的一种基于NUMA架构的飞腾平台下高性能网卡性能优化方法在已通过numa架构下的网卡中断亲和性来提升高性能网卡性能的同时，进一步更有针对性地对基于NUMA架构的飞腾平台下的高性能网卡的性能进行了优化，通过对飞腾平台的numa架构特点的分析，从而更有针对性地提升了基于numa架构的飞腾平台下的高性能网卡的性能；突破了网卡驱动在数据收发队列数和中断数的限制，避免了在多路超64核cpu的处理器平台上可能出现的额外路由消耗和中断反转问题，提升了网络I/O性能。

技术领域

本发明属于飞腾平台技术领域，具体涉及一种基于NUMA架构的飞腾平台下高性能网卡性能优化方法。

背景技术

随着网络技术的进一步飞速发展，为满足应用的需求，25G、40G、100G等更高带宽的高性能网卡已经出现，并得到越来越多的使用。随着网络带宽提升，高性能网卡对CPU的压榨也越来越强烈，而Linux系统原有的调度方式和单核CPU处理网卡中断的方式已无法满足需求。为此，NUMA架构和多队列网卡技术被广泛应用于高性能网卡的I/O请求中，这类技术利用NUMA架构的特点，采用多队列、多CPU参与的方式来处理高性能网卡的I/O请求，使得高性能网卡的性能得到充分发挥。

国产飞腾系列处理器基于ARM64体系结构，其下的FT2000PLUS、FT2500处理器平台同样采用numa架构和多队列网卡技术来满足高性能网卡的需求。然而，由于飞腾平台自身架构和驱动的问题，导致基于numa架构的飞腾平台下的高性能网卡可能存在一定的性能问题，这主要体现在以下三点：

1)NUMA架构的飞腾平台主要是FT2000PLUS平台和FT2500平台。FT2000PLUS平台共有8个numa结点，其中只有numa node 0和numa node 6有pcie控制器，且numa node 6上pcie控制器下接的网卡中断需要路由到numa node 0上来处理；FT2500平台上共16个numa结点，且分为主从两路CPU，其中只有numa node 0和numa node 8下有pcie控制器，且numanode 8也就相当于从路cpu的numa node 0。因此，在FT2000PLUS平台和FT2500平台上，只有将网卡插在numa node 0(FT2500平台还包括从路的numa node 8，即从路的numa node 0)的插槽上才能最大可能地发挥性能。而无论是将网卡插在其他numa结点，或在远numa node0的结点处理网络I/O请求，都将产生中断路由开销，影响高性能网卡性能的发挥；

2)在拥有主从路两路共计128个cpu core的FT2500处理器平台上，部分高性能网卡驱动原本逻辑的问题可能导致高性能网卡的性能发挥不佳：兼容某些只能申请64个中断的网卡，部分高性能网卡驱动注册的数据收发队列总数不超过60个，这使得FT2500处理器平台从路上的后64核CPU无法获取数据收发队列，导致即便从路上(numa node 8)接入了网卡，从路网卡的I/O请求也只能经过路由到主路cpu处理，而不是直接交由从路cpu处理，导致额外的路由消耗；

3)因为部分高性能网卡驱动申请的msix中断总数不能超过64(为兼容某些只能申请64个中断的网卡)、且网卡驱动是通过从中断信息中提取的cpu id来选择cpu进行中断处理的缘故，导致当FT2500平台的主从路均接入网卡时，会出现主从路中断反转的现象：当从路上出现网卡中断时，通过64个中断获得的cpu id只能是主路上的前64个CPU，又因为主路和从路中断类型是一致的，这样会使得从路的中断抢占了主路cpu(编号cpu0～cpu63)，而主路网卡的中断被迫反转到从路cpu(编号cpu64～cpu127)来处理。中断反转导致中断处理的路由开销增加和收发通道中断干扰，影响了FT2500平台上高性能网卡的性能。

基于以上三点，亟需一种新的高性能网卡性能优化方法，来针对性地解决基于NUMA架构的飞腾平台下的高性能网卡的性能问题。