如何在Kubernetes集群动态使用 NAS 持久卷

摘要:
1.介绍:本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷;镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun默认生成资源:生成的PV名字为:pvc-${pvc-uid}生成目录的名字:namespace-pvcn

1. 介绍:

本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷;

镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun

默认生成资源:
生成的PV名字为:pvc-${pvc-uid}
生成目录的名字:namespace-pvcname-pvname

可以再pvc的annotations中如下声明,自定义名字:
生成的pv、目录名字为下面定义的名字。


  annotations:
    pv-name-created: replace-user-id

2. 部署NAS Controller

创建alicloud-nas-controller,实现动态provider nas pv;
创建alicloud-nas storageclass,为nas pv provision 提供模板;


apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas
provisioner: alicloud/nas
reclaimPolicy: Delete
parameters:
  drivertype: flexvolume
  nfsversion: "4.0"
  options: ""

---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: alicloud-nas-controller
  namespace: kube-system
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: alicloud-nas-controller
    spec:
      tolerations:
      - effect: NoSchedule
        operator: Exists
        key: node-role.kubernetes.io/master
      - effect: NoSchedule
        operator: Exists
        key: node.cloudprovider.kubernetes.io/uninitialized
      serviceAccount: admin
      containers:
        - name: alicloud-nas-controller
          image: registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun
          imagePullPolicy: Always
          volumeMounts:
          - mountPath: /persistentvolumes
            name: nfs-client-root
          env:
            - name: NFS_SERVER
              value: 154154b095-**.cn-beijing.nas.aliyuncs.com
            - name: NFS_PATH
              value: /
      volumes:
      - name: nfs-client-root
        flexVolume:
          driver: alicloud/nas
          options:
            path: /
            server: 154154b095-**.cn-beijing.nas.aliyuncs.com
            vers: "4.0"

StorageClass使用说明:


drivertype: 用来表示生成pv存储类型,可选nfs, flexvolume.
    nfs: 默认选项,表示使用k8s原生NFS驱动挂载;
    flexvolume: 表示使用阿里云提供的Flexvolume NAS驱动挂载;

nfsversion: 挂载nfs使用的版本,支持3,4.0.默认为4.0;
    drivertype为flexvolume的时候在这里配置;
    为nfs的时候通过mountOptions 配置;

options:为挂载nfs的可选项配置;
    drivertype为flexvolume的时候在这里配置;
    为nfs的时候通过mountOptions 配置;

StorageClass举例:


## 使用kubernetes提供的NFS驱动,并配置mountOptions,reclaimPolicy为Delete;
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas-nfs
mountOptions:
- vers=4.0
- noresvport
provisioner: alicloud/nas
reclaimPolicy: Delete

## 使用阿里云提供的Flexvolume NAS驱动,配置nfs版本、options;
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alicloud-nas-flex
provisioner: alicloud/nas
reclaimPolicy: Delete
parameters:
  drivertype: flexvolume
  nfsversion: "3"
  options: "noresvport"

3. 创建应用-Deployment:


kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: replace-user-id
  annotations:
    pv-name-created: replace-user-id
spec:
  storageClassName: alicloud-nas
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: "deploy-nas"
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: deploy-nas
    spec:
      containers:
        - name: "nginx"
          image: "nginx"
          volumeMounts:
              - name: pvc-nas
                mountPath: "/data"
      volumes:
      - name: pvc-nas
        persistentVolumeClaim:
            claimName: replace-user-id

执行:
# userID="hello-123"
# cat deploy.yaml | sed  "s/replace-user-id/"$userID"/g" | kubectl create -f -

# kubectl get pod | grep deploy-nas
deploy-nas-85696b6bfc-t5dmh         1/1       Running          0          28m

# kubectl get pvc | grep hell
hello-123       Bound     hello-123                                  5Gi        RWX            alicloud-nas-flex   28m

# kubectl get pv | grep hell
hello-123                                  5Gi        RWX            Delete           Bound      default/hello-123       alicloud-nas-flex                       28m

# Nas目录下查看生成目录:
# ls -l | grep hello
drwxrwxrwx  2 root root 4096 2月  19 09:58 hello-123

4. 创建应用-StatefulSet:

使用volumeTemplateClaim不支持使用pv-name-created配置pv名字;


apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: web
spec:
  replicas: 2
  serviceName: "nginx"
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        volumeMounts:
        - mountPath: "/data"
          name: pvc-sts
  volumeClaimTemplates:
  - metadata:
      name: pvc-sts
    spec:
      accessModes:
        - ReadWriteOnce
      storageClassName: alicloud-nas-flex
      resources:
        requests:
          storage: 2Gi
          
创建后查看:
# kubectl get pod | grep web
web-0                               1/1       Running          0          7s
web-1                               1/1       Running          0          4s

# kubectl get pvc | grep web
pvc-sts-web-0   Bound     pvc-65ab251a-33ec-11e9-a151-00163e066784   2Gi        RWO            alicloud-nas-flex   13m
pvc-sts-web-1   Bound     pvc-8437c50e-33ed-11e9-a151-00163e066784   2Gi        RWO            alicloud-nas-flex   5m

# kubectl get pv | grep web
pvc-65ab251a-33ec-11e9-a151-00163e066784   2Gi        RWO            Delete           Bound      default/pvc-sts-web-0   alicloud-nas-flex                       13m
pvc-8437c50e-33ed-11e9-a151-00163e066784   2Gi        RWO            Delete           Bound      default/pvc-sts-web-1   alicloud-nas-flex                       5m

# Nas目录下查看生成目录:
# ls -l | grep sts
drwxrwxrwx  2 root root 4096 2月  19 10:16 default-pvc-sts-web-0-pvc-65ab251a-33ec-11e9-a151-00163e066784
drwxrwxrwx  2 root root 4096 2月  19 10:24 default-pvc-sts-web-1-pvc-8437c50e-33ed-11e9-a151-00163e066784

5. 创建应用-Pod:


kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: replace-user-id
  annotations:
    pv-name-created: replace-user-id
spec:
  storageClassName: alicloud-nas-flex
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: "nas-pod"
spec:
  containers:
    - name: "nginx"
      image: "nginx"
      volumeMounts:
          - name: pvc-nas
            mountPath: "/data"
  volumes:
  - name: pvc-nas
    persistentVolumeClaim:
        claimName: replace-user-id
       
# userID="pod-123"
# cat pod.yaml | sed  "s/replace-user-id/"$userID"/g" | kubectl create -f -

# kubectl get pod | grep pod
nas-pod                             1/1       Running          0          32s

# kubectl get pvc | grep pod
pod-123         Bound     pod-123                                    5Gi        RWX            alicloud-nas-flex   44s

# kubectl get pv | grep pod
pod-123                                    5Gi        RWX            Delete           Bound      default/pod-123         alicloud-nas-flex                       48s

# ls -l | grep pod
drwxrwxrwx  2 root root 4096 2月  19 10:54 pod-123


本文作者:kanjunbao

阅读原文

本文为云栖社区原创内容,未经允许不得转载。

免责声明:文章转载自《如何在Kubernetes集群动态使用 NAS 持久卷》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇HIDL 概要解决webstorm中vue语法没有提示下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

两台centos之间传送文件

最近在CentOS系统中(主机A)读数据。由于A主机只是作为数据读取,具体的Deep Learning 实验,需要在主机B( CentOS )中进行,需要将主机A上的数据传输。由于主机A并不是一直开着CentOS系统,且数据量比较(40G+),所以用优盘copy的方法有点不现实,经过查找资料,发现了两种方法。 注意:两台主机都是CentOS 6.5 版本的...

k8s中使用gpu的部署方案

宿主机需要安装的软件:   所有带gpu的节点都需要安装 gpu驱动程序 nvidia-docker2 容器中需要安装的软件:   cuda和cudnn可以到dockerhub上找到需要使用的版本及操作系统版本对应的镜像,然后基于该镜像重新构建即可,注意的是官方镜像是不包含python的,需要自己安装底层库和python版本 cuda cudnn d...

Centos-文本过滤-grep

grep   文本过滤,对文本的每一行进行关键字搜索,如果找到则输出   相关选项   -A        除了列出符合关键字的行外,还输出符合关键字行后多少行内容   -c        只显示符号条件的行号   -f         批量搜索,把关键字写入到文件,每行表示一个关键字,然后逐行取出关键字取搜索文件   -i         搜索忽略大小写...

linux-基础命令

目录 文件管理 文件查看cat 更改文件权限chmod 改属主属组chown 对比文件diff 文件查看head/tail/more/less实时监控日志 文件移动更名mv 文件删除rm 文件分割split 新建文件touch 文件预设权限umask 文件查找which 文件复制cp 文件查找whereis 远程文件复制scp 文档编辑...

一文详解云上自动化部署集群管理工具 Nebula Operator

本文首发于 Nebula Graph 公众号:Nebula Operator 开源啦!一文详解这个云上自动化部署集群管理工具 在介绍 Nebula Operator 之前,让我们先来了解下什么是 Operator。 Operator 是一种封装、部署和管理 Kubernetes 应用的方法,通过扩展 Kubernetes API 的功能,来管理用户创建、...

Kubernetes(K8s)(五)——在K8s集群上搭建redis和docker的留言簿

(1).实验环境   需要三个镜像:web前端镜像php-frontend、redis-master和redis-slave。其中web前端通过JavaScript redis api实现与redis-master交互。 (2).扩展:flannel   flannel是K8s默认提供的网络插件。Flannel是由CoreOs团队开发社交的网络工具,Cor...