DPDK 20.11 - IPv4 分段 - 间接池耗尽

如何解决DPDK 20.11 - IPv4 分段 - 间接池耗尽

我正在尝试使用以下逻辑对 IPv4 数据包进行分段：

~after pkts ingress~

struct rte_port_ring_writer *p = port_out->h_port;

pool_direct = rte_mempool_lookup("MEMPOOL0");  
pool_indirect = rte_mempool_lookup("MEMPOOL1");

printf("before frag mempool size d %d in %d\n",rte_mempool_avail_count(pool_direct),rte_mempool_avail_count(pool_indirect));

struct rte_mbuf *frag_pkts[MAX_FRAG_SIZE];  
int out_pkts =    rte_ipv4_fragment_packet (m,frag_pkts,n_frags,ip_mtu,pool_direct,pool_indirect);

printf("after frag mempool size d %d in %d\n",rte_mempool_avail_count(pool_indirect));

if(out_pkts > 0)  
port_out->ops.f_tx_bulk(port_out->h_port,RTE_LEN2MASK(out_pkts,uint64_t));  
else  
printf("frag failed\n");

rte_pktmbuf_free>(m);                       //free parent pkt

现在的问题是间接内存池耗尽了。结果是在几次数据包突发后，由于 -ENOMEM 导致分段失败。我完全无法理解为什么 PMD 不释放并将内存池 obj 放回 MEMPOOL1。是否极不可能是因为 NIC 端口被绑定到 MEMPOOL0 并且来自 MEMPOOL1 的碎片包被传出。

请在下面找到上面代码片段的日志，它打印了直接 (d) 和间接 (in) 内存池中的可用插槽：

在2095988中frag内存池大小为d 2060457之前
在 2095952 中碎片内存池大小为 d 2060344 之后
在 frag 内存池大小 d 2060361 之前 2095945
在 2095913 中碎片内存池大小为 d 2060215 之后
.
.
.
在碎片内存池大小 d 2045013 之前在 0
在 frag 内存池大小 d 2045013 之后 0
在碎片内存池大小 d 2045013 之前在 0
在 frag 内存池大小 d 2045013 之后 0
前 frag 内存池大小 d 2045013 in 0

我可以看到直接内存池随着数据包的入口和丢弃/出口按预期减少和增加。我还可以确认我收到了等于 MEMPOOL1 大小的碎片数据包的初始突发。非常感谢任何有助于了解问题原因的意见。

P.S：我们在 dpdk17.11 中遇到了同样的问题。我们不得不折射 rte_ipv4_fragment_packet() 以不使用碎片的间接链接，而只是生成它们。

编辑：
DPDK 版本 - 20.11
环境 - linux - centos 7
PMD - i40e - 在 mode4 中使用绑定
包大小 - 128
MTU - 70

使用 rte_pktmbuf_pool_create() 创建内存池， 因此没有 SC/SP 标志（默认为 MC/MP）。也总是 n_frags

谢谢和问候，
维沙尔莫汉

解决方法

DPDK API rte_ipv4_fragment_packet 用于 testpmd 和 DPDK 示例 ip_fragementation。这些也包含在为每个版本运行的 DPDK 测试套件中。

基于内部测试和 API 的正确使用（例如 Ip_fragementation），该问题无法重现。因此，除了一些特殊的极端情况（尚未发现）之外，API 泄​​漏内存池缓冲区的可能性很小。

基于以下代码片段分析可能是内存池耗尽的原因

1. 碎片化后无法释放直接缓冲区
2. 当 tx_burst 失败时，无法从间接缓冲区中释放一个或多个片段。

[EDIT-1] 根据邮件更新和评论，DPDK API 确实没有问题rte_ipv4_fragment_packet。问题来自应用程序逻辑，新行为为

1. DPDK BOND PMD 导致内存池耗尽，当前代码片段
2. DPDK BOND PMD 与带有 rte_ipv4_fragment_packet
的 DPDK 示例没有问题
3. DPDK i40e PMD 当前代码片段存在问题
4. DPDK i40e PMD 对 dpdk 示例没有问题rte_ipv4_fragment_packet

因此问题在于示例代码片段和用法，而不是 DPDK API。