100G 网络速率调优

100G Network Tuning

对于配备 100G（或更高）以太网网卡的主机，除了对 sysctl.conf 进行更改之外，你还需要进行一些额外的调优操作，以实现吞吐量最大化。

最重要的配置项如下：

将环形缓冲区大小增加到最大值（8192）。不过从 6.8 内核开始，此建议不再适用。
```
/usr/sbin/ethtool -G ethN rx 8192 tx 8192
```
确认中断聚合功能已开启。英伟达网卡通常默认开启自适应接收（adaptive-rx）/自适应发送（adaptive-tx）功能，而英特尔网卡默认关闭。
```
/usr/sbin/ethtool -C ethN adaptive-rx on adaptive-tx on
```
更多信息请参阅网卡设备驱动页面。

要确认 SMT 已关闭，以下命令应返回零：
```
cat /sys/devices/system/cpu/smt/active 
```
若要临时开启/关闭 SMT 进行测试，可执行以下操作：
```
echo off > /sys/devices/system/cpu/smt/control 
```

如果你的硬件支持，启用输入/输出内存管理单元（IOMMU）。这是一项非常重要的设置，可将性能提升多达 40%。
确保你使用的是最新的网卡设备驱动
确保流量控制（暂停帧）已开启，因为并非所有网卡驱动默认都开启此功能（例如：英特尔 ICE 驱动）
```
/usr/sbin/ethtool -A ethN rx on tx on 
```
确保启用“公平排队”（fq），并为你的环境设置合适的限速速率。大多数较新版本的 Linux 会将 net.core.default_qdisc 设置为 fq_codel，这通常效果良好。一些较旧版本默认使用 pfifo_fast，且不支持 fq_codel，应将其更改为 fq。

其他可供尝试的调优选项可在此处找到。

https://fasterdata.es.net/host-tuning/linux/100g-tuning/other-tuning/

对于现代 Linux 操作系统（内核版本为 5.x 或更高的系统），无需进行其他调优。

有关旧系统 100G 调优的更多详细信息，请参阅 2016 年 9 月的这份演示文稿。

https://fasterdata.es.net/assets/Papers-and-Publications/100G-Tuning-TechEx2016.tierney.pdf

CPU 时钟频率对 100G 数据流至关重要。如果你关注单流的吞吐量，较高的 CPU 时钟频率很重要。一般而言，要实现每流 30Gbps 的吞吐量，CPU 时钟频率至少需要达到 3GHz。

在能源科学网络（ESnet）的 100G perfSONAR 节点上，我们通常能看到单流约 30Gbps 的吞吐量，使用 iperf2 和线程版（v3.16+）的 iperf3 时，通过 8 个流轻松实现超过 95Gbps 的吞吐量。限速有助于避免各流之间相互干扰。

有关数据传输网络（DTN）文件系统调优的信息，请参阅 DTN 调优。

https://fasterdata.es.net/DTN/tuning/

高速网络调优的其他参考资料：

红帽公司的相关信息。
https://docs.redhat.com/en/documentation/red_hat_enterprise_linux/9/html/monitoring_and_managing_system_status_and_performance/tuning-the-network-performance_monitoring-and-managing-system-status-and-performance
加州理工学院的相关信息（2024 年的演示文稿，尤其可查看第 25 - 30 页幻灯片）
https://indico.cern.ch/event/1429470/contributions/6015671/attachments/2884683/5055492/GlobalNetworks_1p5TbpsPlusTrialsandLessonsfronSC23andBeyond_DOMAMeeting062624s.pdf

有关特定网卡厂商调优建议的更多信息：

英特尔 800 系列网卡.
https://www.intel.com/content/www/us/en/support/articles/000088688/ethernet-products/800-series-network-adapters-up-to-100gbe.html
英伟达/迈络思网卡（另请参阅迈络思工具）
https://enterprise-support.nvidia.com/s/article/performance-tuning-for-mellanox-adapters