系统崩溃后 ZFS 写入排序问题？

如何解决系统崩溃后 ZFS 写入排序问题？

我遇到了 ZFS（0.7 版）的写入顺序问题。由于我是 ZFS 内部结构的新手，因此很难理解根本原因。任何见解都受到高度赞赏。

问题：用户应用程序向某些 zvol 偏移量发出 pwrites。应用程序 IO 正在进行时发生系统崩溃。系统重新上线后，zvol数据不一致（无序）。

[Thread-#1] Writes to ZVOL offset=0x1300000000,data=A00
[Thread-#1] Writes to ZVOL offset=0x1342750000,data=(some random data)
[Thread-#1] Writes to ZVOL offset=0x1342760000,data=(some random data)
[Thread-#1] Writes to ZVOL offset=0x1342770000,data=(some random data)
[Thread-#1] Writes to ZVOL offset=0x1342780000,data=(some random data)
[Thread-#1] Writes to ZVOL offset=0x1300000000,data=B00
[Thread-#2] Writes to ZVOL offset=0x1300000000,data=BA0
[Thread-#2] Writes to ZVOL offset=0x1342fe0000,data=(some random data)
[Thread-#2] Writes to ZVOL offset=0x1342ff0000,data=(some random data)
[Thread-#2] Writes to ZVOL offset=0x1343000000,data=(some random data)
[Thread-#2] Writes to ZVOL offset=0x1343010000,data=(some random data)
// After this point,all writes to offset other than 0x1300000000 do not persist
[Thread-#2] Writes to ZVOL offset=0x1342bb0000,data=(some random data) 
[Thread-#2] Writes to ZVOL offset=0x1300000000,data=BB0
[Thread-#3] Writes to ZVOL offset=0x1300000000,data=BBA
....more writes

请注意，用户应用程序是多线程的。所有线程都写入相同的 zvol。 Zvol opened 作为块设备使用 O_DIRECT 使每个写入同步。

我们从上面的日志中看到，多个线程写入偏移量 0x1300000000。然而，对于此偏移量，每次写入都以互斥方式（内存中更新和 pwrite）执行。我检查了 blktrace 的 zvol，请求队列的所有偏移量都按正确顺序排列。

考虑以下 ZDB 转储后系统崩溃。

$ zdb -dddddd <zvol-path>

1300000000   L1  0:3140111000:8000 0:c0000:8000 20000L/8000P F=1002 B=357647/357647
1300000000    L0 0:314155a000:10000 10000L/10000P F=1 B=357647/357647
...
1342750000    L0 0:3141c0a000:10000 10000L/10000P F=1 B=357647/357647
1342760000    L0 0:3141c1a000:10000 10000L/10000P F=1 B=357647/357647
1342770000    L0 0:3141c2a000:10000 10000L/10000P F=1 B=357647/357647
1342780000    L0 0:3141c3a000:10000 10000L/10000P F=1 B=357647/357647
1342fe0000    L0 0:314248a000:10000 10000L/10000P F=1 B=357647/357647
1342ff0000    L0 0:314249a000:10000 10000L/10000P F=1 B=357647/357647
1343000000    L0 0:31424aa000:10000 10000L/10000P F=1 B=357647/357647
1343010000    L0 0:31424ba000:10000 10000L/10000P F=1 B=357647/357647
....

我们看到偏移量 0x1300000000 具有 TXG 357647。在读取偏移量 0x1300000000 时，我们将数据视为“BBA”！但是，在日志中提到的点之后没有写入 zvol，例如偏移量 0x1342bb0000 完全缺失。

有可能 0x1342bb0000 之后的所有写入都进入了稍后的 TXG，并且由于系统崩溃，TXG 无法同步。但是，这也意味着 0x1300000000 处的数据需要为“BA0”。在未来的 TXG 中完成的写入是如何在之前的写入中落地的？

// Few details about system
$ cat /sys/block/zd0/queue/scheduler
none

$ uname -r
3.10.0-1062.18.1.el7.x86_64