卷的ReadWriteOncePod访问模式
Introducing Single Pod Access Mode for PersistentVolumes
Author: Chris Henzie (Google)
随着Kubernetes v1.22
版本的更新,k8s
为我们带来了一个新的alpha
特性:存储卷新的访问方式 -> ReadWriteOncePod
(单Pod
访问类型的pv
与pvc
),换句话来讲,
指定pvc
访问类型为ReadWriteOncePod
时,仅有一个Pod
可以访问使用该pvc
(持化卷声明)
ReadWriteOncePod是什么?有何应用场景?
当我们使用存储的时候,有很多不同的消费存储模式:
- 多节点读写:如通过网络共享的文件系统(NFS、Cephfs)
- 单节点读写:高度敏感的存储数据
- 多点只读
在k8s
世界,可通过对存储卷(pv、pvc)指定Access Modes
(访问模式),实现对存储的消费方式。
如多节点读写:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: shared-cache
spec:
accessModes:
- ReadWriteMany # Allow many pods to access shared-cache simultaneously.
resources:
requests:
storage: 1Gi
Kubernetes v1.22
版本之前,对存储卷有三种方式:
ReadWriteOnce
:单节点读写ReadOnlyMany
:多节点只读ReadWriteMany
:多节点读写
以上三种对存储卷访问方式的控制,是通过kube-controller-manager
和kubelet
组件实现。
ReadWriteOncePod原理
Kubernetes v1.22
提供了第四种访问PV、PVC
的访问模式:ReadWriteOncePod
(单一Pod访问方式)
当你创建一个带有pvc
访问模式为ReadWriteOncePod
的Pod A
时,Kubernetes
确保整个集群内只有一个Pod
可以读写该PVC
。
此时如果你创建Pod B
并引用了与Pod A
相同的PVC
(ReadWriteOncePod)时,那么Pod B
会由于该pvc
被Pod A
引用而启动失败。
Pod B
事件可能如下:
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 1s default-scheduler 0/1 nodes are available: 1 node has pod using PersistentVolumeClaim with the same name and ReadWriteOncePod access mode.
乍一看,是不是觉得与ReadWriteOnce
访问模式很像?但其实并不一样。
对比ReadWriteOnce访问模式
ReadWriteOnce
:该访问模式约束仅有一个node
节点可以访问pvc
。换句话来说,同一node
节点的不同pod
是可以对同一pvc
进行读写的
这种访问模式对于一些应用是存在隐患的,特别是对数据有写入安全(同一时间仅有一个写操作)要求的应用。
ReadWriteOncePod
的出现,解决了上述隐患。
我们如何使用ReadWriteOnce?
ReadWriteOncePod
方式模式是Kubernetes v1.22
版本的alpha
特性,并且只支持CSI
类型的卷
k8s
版本需为v1.22+
- 首先需要
k8s
集群需添加该特性门控(k8s
中alpha
功能特性默认关闭,beta
功能特性默认开启)
涉及服务组件:
kube-apiserver
kube-scheduler
kubelet
--feature-gates="...,ReadWriteOncePod=true"
- 升级
csi
边车,版本要求如下: csi-provisioner:v3.0.0+
csi-attacher:v3.3.0+
csi-resizer:v1.3.0+
使用样例
pvc
声明样例
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: single-writer-only
spec:
accessModes:
- ReadWriteOncePod # Allow only a single pod to access single-writer-only.
resources:
requests:
storage: 1Gi
如果您的存储插件支持动态配置(StorageClass
),那么将使用ReadWriteOncePod
访问模式创建新的PersistentVolumes
变更现有卷访问模式为ReadWriteOnce
您可以变更现有PVC
访问模式为ReadWriteOncePod
访问模式。接下来我们通过一个迁移样例,了解迁移的流程。
样例信息:
pv
:cat-pictures-pv
pvc
:cat-pictures-pvc
Deployment
:cat-pictures-writer
- 命名空间:
default
三者关系为:名为cat-pictures-writer
的Deployment
,声明挂载了一个名为cat-pictures-pvc
的pvc
,该pvc
对应的pv
为cat-pictures-pv
step1: 变更pv回收策略
变更cat-pictures-pv
的回收策略为Retain
,确保删除pvc
时,对应的pv
不会被删除
kubectl patch pv cat-pictures-pv -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
step2: 停止
Deployment
下所有工作负载(缩容至0)
kubectl scale --replicas=0 deployment cat-pictures-writer
step3: 删除
cat-pictures-pvc
kubectl delete pvc cat-pictures-pvc
step4: 清理
cat-pictures-pv
的spec.claimRef.uid
属性,确保重新创建pvc
时可以绑定新的pvc
kubectl patch pv cat-pictures-pv -p '{"spec":{"claimRef":{"uid":""}}}'
step5: 变更
cat-pictures-pv
的访问模式为ReadWriteOncePod
kubectl patch pv cat-pictures-pv -p '{"spec":{"accessModes":["ReadWriteOncePod"]}}'
注意:
ReadWriteOncePod
不能与其他访问模式结合使用,确保ReadWriteOncePod
是PV
的唯一访问模式,否则无法成功绑定。step6: 变更
cat-pictures-pvc
的访问模式为ReadWriteOncePod
(且唯一)
- 未配置
StorageClass
情况需手动创建pvc
kubectl apply -f cat-pictures-pvc.yaml
kubectl apply -f cat-pictures-writer-deployment.yaml
- 若配置
StorageClass
仅需变更Deployment
中的pvc
访问模式
step7: 变更
PV
回收方式由Retain
为Delete
kubectl patch pv cat-pictures-pv -p '{"spec":{"persistentVolumeReclaimPolicy":"Delete"}}'
step8: 恢复
cat-pictures-writer
工作负载实例数
kubectl scale --replicas=1 deployment cat-pictures-writer
哪些卷插件支持ReadWriteOncePod?
只有CSI
类型存储驱动支持,原生卷插件(如Hostpath
)并不支持ReadWriteOncePod
模式, 因为原生卷插件作为CSI
迁移的一部分正在被弃用,
当ReadWriteOncePod
达到beta
版本时,原生卷插件可能会被k8s
原生支持。
绝大多数生产环境,都会使用第三方CSI
插件(Ceph CSI
),很少会使用原生卷插件类型。
作为CSI提供者,如何支持ReadWriteOncePod?
请移步原文section