如何解决如何使XFS配额在DigitalOcean上的Kubernetes卷中工作?
在DigitalOcean上的Kubernetes中使XFS配额正常工作时,我需要帮助。
我的问题本质上是,xfs_quota
工具似乎仅在还可以访问磁盘设备(不仅是已装入的卷)的情况下才起作用。但是,无论我如何尝试,我似乎都无法同时访问设备和安装架。
我尝试了卷挂载和原始块卷。
批量安装
这是我的存储课程:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: block-storage-retain-xfs-prjquota
provisioner: dobs.csi.digitalocean.com
parameters:
fsType: xfs
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer
mountOptions:
- prjquota
然后我声明一个新的卷并将其添加到这样的pod中:
volumeClaimTemplates:
- metadata:
name: my-storage
namespace: my-namespace
spec:
accessModes:
- ReadWriteOnce
storageClassName: block-storage-retain-xfs-prjquota
resources:
requests:
storage: 1Gi
并安装它:
volumeMounts:
- name: my-storage
mountPath: "/var/www"
在Pod中,所有东西都正确安装,我可以访问该卷(可以在其中创建内容)并且正确设置了安装标志:
$ mount | grep -i www
/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc on /var/www type xfs (rw,relatime,attr2,inode64,prjquota)
但是,该磁盘设备在Pod中不可用:
$ ls -la /dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc
ls: cannot access '/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc': No such file or directory
(实际上,整个/dev/disk/
目录不可用)
根据我的调查,缺乏对设备的访问权限是XFS工具失败的原因:
$ xfs_quota -x -c 'report -h' /var/www
xfs_quota: cannot setup path for mount /var/www: No such device or address
原始块体积
我还尝试切换到原始块卷:
volumeClaimTemplates:
- metadata:
name: my-storage
namespace: my-namespace
spec:
accessModes:
- ReadWriteOnce
volumeMode: Block
storageClassName: block-storage-retain-xfs-prjquota
resources:
requests:
storage: 1Gi
并将其添加为:
volumeDevices:
- name: my-storage
devicePath: /dev/my-storage
这给了我设备,但是由于某种原因,我无法对其进行格式化/挂载(实际上既不是XFS也不是ext4):
$ mkfs.xfs /dev/my-storage
mkfs.xfs: error - cannot set blocksize 512 on block device /dev/my-storage: Permission denied
$ mkfs.ext4 /dev/my-storage
mke2fs 1.45.5 (07-Jan-2020)
Discarding device blocks: done
Creating filesystem with 262144 4k blocks and 65536 inodes
Filesystem UUID: 18f07181-737c-4b68-a5fe-ccd7f2c50ff8
Superblock backups stored on blocks:
32768,98304,163840,229376
Allocating group tables: done
Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done
$ mount /dev/my-storage /var/www
mount: /var/www: cannot mount /dev/my-storage read-only.
借助SYS_ADMIN
Linux功能,我实际上可以对其进行格式化,但仍无法挂载它:
$ mkfs.xfs -f /dev/my-storage
meta-data=/dev/my-storage isize=512 agcount=4,agsize=65536 blks
= sectsz=512 attr=2,projid32bit=1
= crc=1 finobt=1,sparse=1,rmapbt=0
= reflink=1
data = bsize=4096 blocks=262144,imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0,ftype=1
log =internal log bsize=4096 blocks=2560,version=2
= sectsz=512 sunit=0 blks,lazy-count=1
realtime =none extsz=4096 blocks=0,rtextents=0
$ mount /dev/my-storage /var/www
mount: /var/www: cannot mount /dev/my-storage read-only.
(为什么磁盘设备是只读的?)
原始块体积-带分区
好,所以我试图创建一个分区并格式化它。分区创建成功,但我无权访问分区设备:
$ fdisk -l /dev/my-storage
Disk /dev/my-storage: 1 GiB,1073741824 bytes,2097152 sectors
Disk model: Volume
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xb4a24142
Device Boot Start End Sectors Size Id Type
/dev/my-storage1 2048 2097151 2095104 1023M 83 Linux
但是,/dev/my-storage1
不存在:
$ ls -la /dev/my-storage*
brw-rw---- 1 root disk 8,48 Oct 25 14:42 /dev/my-storage
我尝试以privileged
的身份运行容器,这使我可以访问/dev
中的更多设备,但后来我根本看不到原始块卷设备。
下一步是什么?
如我所见,所有这些都对我有用:
- 获得用于卷安装的基础块设备的访问权限。
- 访问分区设备,以便我可以安装它。
- 能够挂载原始块卷(例如,通过将其设置为非只读,无论其含义如何)。
- 使用
xfs_quota
工具不需要基础设备。
我相信几个月前我就使用了带有分区的原始块卷使其工作,但是我忘记了DigitalOcean的方式或发生了什么变化,而且似乎无法再创建和访问分区。
非常感谢任何帮助,谢谢!
解决方法
这里是DigitalOcean的Managed Kubernetes(DOKS)团队的提摩。
您所缺少的是/dev
目录的主机系统挂载。如果同时添加
volumes:
- name: device-dir
hostPath:
path: /dev
和
volumeMounts:
- name: device-dir
mountPath: /dev
在正确位置的清单上,一切应该按预期进行。