Linux中的ZFS RAID和LUKS加密

我计划在 Linux中设置一组3x 2TB 7200rpm驱动器作为LUKS加密的Z-RAID池(用于NAS解决方案).

我对手头问题的理解是,实现这一目标的唯一方法是在每个物理设备上使用luksFormat,然后从解锁的LUKS容器中组装一个zpool.

我对此有以下疑虑:

>它会不会严重影响写入性能?在此设置中,冗余数据被多次加密,因为LUKS不“意识到”Z-RAID.在LUKS-on-mdadm中,解决方案数据被加密一次,并且只是多次写入磁盘.我的CPU支持Intel AES-NI.
>在物理设备上运行设备映射器LUKS容器时,ZFS是否会发现磁盘故障?重复数据删除和其他ZFS功能如何?

解决方法

我管理的其中一个服务器运行您描述的配置类型.它有六个1TB硬盘,上面有一个LUKS加密的RAIDZ池.我还在LUKS加密的ZFS镜像中有两个3TB硬盘驱动器,每周更换一次,以便在场外进行.服务器已经使用这个配置大约三年了,我从来没有遇到过这个问题.

如果您需要在Linux上加密ZFS,那么我建议使用此设置.我在Linux上使用的是ZFS-Fuse,而不是ZFS.但是,我认为除了Linux上的ZFS之外,其结果与我使用的设置相比可能没有任何影响.

In this setup redundant data is encrypted several times because LUKS is not “aware” of Z-RAID. In LUKS-on-mdadm solution data is encrypted once and merely written to disks multiple times.

请记住,LUKS不了解RAID.它只知道它位于块设备之上.如果您使用mdadm创建RAID设备然后将其格式化,则mdadm将加密数据复制到底层存储设备,而不是LUKS.

LUKS FAQ的问题2.8解决了是否为encryption should be on top of RAID or the other way around.它提供了下图.

Filesystem     <- top
|
Encryption
|
RAID
|
Raw partitions
|
Raw disks      <- bottom

由于ZFS结合了RAID和文件系统功能,因此您的解决方案需要如下所示.

RAID-Z and ZFS Filesystem  <-top
|
Encryption
|
Raw partitions (optional)
|
Raw disks                  <- bottom

我已经将原始分区列为可选,因为ZFS期望它将使用原始块存储而不是分区.虽然您可以使用分区创建zpool,但不建议这样做,因为它会添加无用的管理级别,并且在计算分区块对齐的偏移量时需要考虑它.

Wouldn’t it significantly impede write performance? […] My CPU supports Intel AES-NI.

只要您选择AES-NI驱动程序支持的加密方法,就不会出现性能问题.如果你有cryptsetup 1.6.0或更新版本,你可以运行cryptsetup基准测试,看看哪种算法将提供最佳性能.

This question on recommended options for LUKS也可能有价值.

鉴于您具有硬件加密支持,您更有可能因分区错位而面临性能问题.

Linux上的ZFS有added the ashift property to the zfs command,允许您指定硬盘的扇区大小.根据链接的常见问题解答,ashift = 12会告诉您正在使用4K块大小的驱动器.

LUKS FAQ指出LUKS分区的对齐方式为1 MB. Questions 6.12 and 6.13详细讨论了这一点,并提供了有关如何使LUKS分区标头更大的建议.但是,我不确定是否可以使其足够大以确保您的ZFS文件系统将在4K边界上创建.如果这是您需要解决的问题,我有兴趣了解这对您有何影响.由于您使用的是2TB驱动器,因此可能不会遇到此问题.

Will ZFS be aware of disk failures when operating on device-mapper LUKS containers as opposed to physical devices?

ZFS将意识到磁盘故障,因为它可以毫无问题地读取和写入磁盘故障. ZFS需要块存储,并不关心或了解该存储的具体内容及其来源.它只跟踪它遇到的任何读,写或校验和错误.由您来监控底层存储设备的运行状况.

The ZFS documentation has a section on troubleshooting值得一读. replacing or repairing a damaged device中的部分介绍了在故障情况下可能遇到的问题以及解决方法.对于没有ZFS的设备,您可以在此处执行相同的操作.检查系统日志中是否有来自SCSI驱动程序,HBA或HD控制器和/或SMART监控软件的消息,然后采取相应措施.

How about deduplication and other ZFS features?

无论底层块存储是否加密,所有ZFS功能都将起作用.

摘要

> LUKS加密设备上的ZFS运行良好.>如果您有硬件加密,只要您使用硬件支持的加密方法,就不会看到性能损失.使用cryptsetup基准来查看哪些内容最适合您的硬件.>将ZFS视为RAID和文件系统合并为一个实体.请参阅上面的ASCII图,了解它适合存储堆栈的位置.>您需要解锁ZFS文件系统使用的每个LUKS加密的块设备.>以与现在相同的方式监控存储硬件的运行状况.>如果您使用带有4K块的驱动器,请注意文件系统的块对齐.您可能需要尝试使用luksformat选项或其他设置来获得可接受速度所需的对齐方式.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


linux常用进程通信方式包括管道(pipe)、有名管道(FIFO)、信号(signal)、消息队列、共享内存、信号量、套接字(socket)。管道用于具有亲缘关系的进程间通信,有名管道的每个管道具有名字,使没有亲缘关系的进程间也可以通信。信号是比较复杂的通信方式,用于通知接受进程有某种事件发生,除
Linux性能观测工具按类别可分为系统级别和进程级别,系统级别对整个系统的性能做统计,而进程级别则具体到进程,为每个进程维护统计信息。&#xD;&#xA;&#xD;&#xA;按实现原理分,可分为基于计数器和跟踪以及剖析。含义如下:&#xD;&#xA;&#xD;&#xA;计数器:内核维护的统计数据,通常为无符号整型,用于对发生的事件计数,比如,网络包接收计数器,磁
本文详细介绍了curl命令基础和高级用法,包括跳过https的证书验证,详细追踪整个交互过程,可用于调用网络后端接口,诊断http和https网络服务故障。
本文包含作者工作中常用到的一些命令,用于诊断网络、磁盘占满、fd泄漏等问题。命令包括ping、fping、tcpdump、lsof、netstat、/proc/$pid/fd、du、grep、traceroute、dig。
linux的平均负载表示运行态和就绪态及不可中断状态(正在io)的进程数目,用uptime查看到负载很高,既有可能是CPU利用率高,也可能是大量在等待io的进程导致,用mpstat查看每个CPU的使用情况,查看CPU的使用率或者CPU花在等待io的时间,接着用pidstat定位具体的进程
CPU上下文频繁切换会导致系统性能下降,切换分为进程切换、线程切换及中断切换,进程切换的开销较大,除了需要保存寄存器和程序计数器中的值还需保存全局变量、栈等到内存中,以便下次运行恢复,而同一进程中的线程切换开销会小很多,只需更新寄存器和线程独有的栈,共享资源如打开的文件、全局变量等无需切换,当硬件中
1.top命令 作用:该命令可以按CPU使用.内存使用和执行时间对任务进行排序,常用来监控系统中占用CPU或内存较高的程序及CPU和内存的负载。 默认视图: 当想看系统负载时,可观察汇总的%CPU中的us用户进程和sy系统进程是否占用CPU很高,相加接近100%就说明占用很高了,有些程序可能得不到及
文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限!!!粘滞位!!!超详解!!!
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,个人学习时很认真的记录的,觉得好的麻烦点个赞。
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1(亲测无问题,建议收藏)_openssh_9.5p1
文章浏览阅读3.5k次,点赞93次,收藏78次。初识Linux中的线程,理解线程的各种概念,理解进程地址空间中的页表转换,介绍pthread线程库并理解线程库!
文章浏览阅读863次。出现此问题为Linux文件权限问题,解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
文章浏览阅读2.9k次。使用文本编辑器:打开CSV文件,并使用文本编辑器(如Notepad++、Sublime Text、Visual Studio Code等)来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意,上述方法并非绝对准确,特别是当文件没有明确的编码标识时。因此,如果你发现CSV文件在不同的工具或方法中显示不同的编码格式,可能需要进行进一步的分析和判断,或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具:在命令行中,你可以使用。_shell读取csv文件逐行处理
本文介绍了如何在Linux系统中升级gcc版本,以便更好地支持C++11及以上版本的新特性。通过升级gcc,可以提升编译器的功能和性能,获得更好的开发体验。详细的步骤和方法请参考原文链接。
文章浏览阅读4.4k次,点赞6次,收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单,可以方便的来进行一些测试。_linux mosquitto
文章浏览阅读7.2k次,点赞2次,收藏12次。Linux中,用于根目录下有一个.ssh目录,保存了ssh相关的key和一些记录文件。_~/.ssh/
文章浏览阅读4.5k次,点赞5次,收藏18次。首先需要安装 snmp ,使用下面的命令进行安装安装完毕之后,使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具