卷的ReadWriteOncePod访问模式

卷的ReadWriteOncePod访问模式

Introducing Single Pod Access Mode for PersistentVolumes

Author: Chris Henzie (Google)

随着Kubernetes v1.22版本的更新，k8s为我们带来了一个新的alpha特性：存储卷新的访问方式 -> ReadWriteOncePod（单Pod访问类型的pv与pvc），换句话来讲，指定pvc访问类型为ReadWriteOncePod时，仅有一个Pod可以访问使用该pvc（持化卷声明）

ReadWriteOncePod是什么？有何应用场景？

当我们使用存储的时候，有很多不同的消费存储模式：

多节点读写：如通过网络共享的文件系统（NFS、Cephfs）
单节点读写：高度敏感的存储数据
多点只读

在k8s世界，可通过对存储卷（pv、pvc）指定Access Modes（访问模式），实现对存储的消费方式。

如多节点读写：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: shared-cache
spec:
  accessModes:
  - ReadWriteMany # Allow many pods to access shared-cache simultaneously.
  resources:
    requests:
      storage: 1Gi

Kubernetes v1.22版本之前，对存储卷有三种方式：

ReadWriteOnce：单节点读写
ReadOnlyMany ：多节点只读
ReadWriteMany：多节点读写

以上三种对存储卷访问方式的控制，是通过kube-controller-manager和kubelet组件实现。

ReadWriteOncePod原理

Kubernetes v1.22提供了第四种访问PV、PVC的访问模式：ReadWriteOncePod（单一Pod访问方式）

当你创建一个带有pvc访问模式为ReadWriteOncePod的Pod A时，Kubernetes确保整个集群内只有一个Pod可以读写该PVC。

此时如果你创建Pod B并引用了与Pod A相同的PVC(ReadWriteOncePod)时，那么Pod B会由于该pvc被Pod A引用而启动失败。

Pod B事件可能如下：

Events:
  Type     Reason            Age   From               Message
  ----     ------            ----  ----               -------
  Warning  FailedScheduling  1s    default-scheduler  0/1 nodes are available: 1 node has pod using PersistentVolumeClaim with the same name and ReadWriteOncePod access mode.

乍一看，是不是觉得与ReadWriteOnce访问模式很像？但其实并不一样。

对比ReadWriteOnce访问模式

ReadWriteOnce：该访问模式约束仅有一个node节点可以访问pvc。换句话来说，同一node节点的不同pod是可以对同一pvc进行读写的

这种访问模式对于一些应用是存在隐患的，特别是对数据有写入安全（同一时间仅有一个写操作）要求的应用。

ReadWriteOncePod的出现，解决了上述隐患。

我们如何使用ReadWriteOnce？

ReadWriteOncePod方式模式是Kubernetes v1.22版本的alpha特性，并且只支持CSI类型的卷

k8s版本需为v1.22+
首先需要k8s集群需添加该特性门控（k8s中alpha功能特性默认关闭，beta功能特性默认开启）

涉及服务组件:

kube-apiserver
kube-scheduler
kubelet

--feature-gates="...,ReadWriteOncePod=true"

升级csi边车，版本要求如下：
csi-provisioner:v3.0.0+
csi-attacher:v3.3.0+
csi-resizer:v1.3.0+

使用样例

pvc声明样例

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: single-writer-only
spec:
  accessModes:
  - ReadWriteOncePod # Allow only a single pod to access single-writer-only.
  resources:
    requests:
      storage: 1Gi

如果您的存储插件支持动态配置（StorageClass），那么将使用ReadWriteOncePod访问模式创建新的PersistentVolumes

变更现有卷访问模式为ReadWriteOnce

您可以变更现有PVC访问模式为ReadWriteOncePod访问模式。接下来我们通过一个迁移样例，了解迁移的流程。

样例信息：

pv: cat-pictures-pv
pvc: cat-pictures-pvc
Deployment: cat-pictures-writer
命名空间: default

三者关系为：名为cat-pictures-writer的Deployment，声明挂载了一个名为cat-pictures-pvc的pvc，该pvc对应的pv 为cat-pictures-pv

step1: 变更pv回收策略

变更cat-pictures-pv的回收策略为Retain，确保删除pvc时，对应的pv不会被删除

kubectl patch pv cat-pictures-pv -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'

step2: 停止Deployment下所有工作负载（缩容至0）

kubectl scale --replicas=0 deployment cat-pictures-writer

step3: 删除cat-pictures-pvc

kubectl delete pvc cat-pictures-pvc

step4: 清理cat-pictures-pv的spec.claimRef.uid属性，确保重新创建pvc时可以绑定新的pvc

kubectl patch pv cat-pictures-pv -p '{"spec":{"claimRef":{"uid":""}}}'

step5: 变更cat-pictures-pv的访问模式为ReadWriteOncePod

kubectl patch pv cat-pictures-pv -p '{"spec":{"accessModes":["ReadWriteOncePod"]}}'

注意：ReadWriteOncePod不能与其他访问模式结合使用，确保ReadWriteOncePod是PV的唯一访问模式，否则无法成功绑定。

step6: 变更cat-pictures-pvc的访问模式为ReadWriteOncePod(且唯一)

未配置StorageClass情况需手动创建pvc

kubectl apply -f cat-pictures-pvc.yaml
kubectl apply -f cat-pictures-writer-deployment.yaml

若配置StorageClass仅需变更Deployment中的pvc访问模式

step7: 变更PV回收方式由Retain为Delete

kubectl patch pv cat-pictures-pv -p '{"spec":{"persistentVolumeReclaimPolicy":"Delete"}}'

step8: 恢复cat-pictures-writer工作负载实例数

kubectl scale --replicas=1 deployment cat-pictures-writer

哪些卷插件支持ReadWriteOncePod？

只有CSI类型存储驱动支持，原生卷插件（如Hostpath）并不支持ReadWriteOncePod模式，因为原生卷插件作为CSI迁移的一部分正在被弃用，当ReadWriteOncePod达到beta版本时，原生卷插件可能会被k8s原生支持。

绝大多数生产环境，都会使用第三方CSI插件（Ceph CSI），很少会使用原生卷插件类型。

作为CSI提供者，如何支持ReadWriteOncePod？

请移步原文section

ReadWriteOncePod访问模式