fl8 Wiki

ユーザ用ツール

サイト用ツール

現在位置: Dokuwiki.fl8.jp » 06_virtualization » 05_container » 16 Kubernetes + DRBD Linstor
トレース:
06_virtualization:05_container:16_kubernetes_linstor

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
06_virtualization:05_container:16_kubernetes_linstor [2022/05/26 21:56] – matsui06_virtualization:05_container:16_kubernetes_linstor [2022/07/07 23:06] (現在) – [3. Linstorインストール] matsui
行 35: 行 35:
 </code> </code>
  
-====== 3. Linstorインストール ======+====== 3. LINSTORインストール ======
  
 今回は3台でlinstor-controllerを冗長化するので、3台とも全部インストール 今回は3台でlinstor-controllerを冗長化するので、3台とも全部インストール
行 307: 行 307:
  
 </code> </code>
 +
 +====== 7.Kubernetsから接続 ======
 +
 +
 +==== 大前提条件 ====
 +
 +Kubernetes helm インストール時下記の３つがlinstorインストールの前提の条件です。
 +  - kubernetes controller からPodのIPに通信できる事
 +  - Pod内から外部へ通信可能
 +  - Pod内で名前解決可能
 +
 +<code>
 +root@linstor-master:~# kubectl get pod alpine-test -o wide
 +NAME          READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
 +alpine-test   1/1     Running   0          73s   10.224.1.2   linstor-node04   <none>           <none>
 +root@linstor-master:~# ping 10.224.1.2 -c 3
 +PING 10.224.1.2 (10.224.1.2) 56(84) bytes of data.
 +64 bytes from 10.224.1.2: icmp_seq=1 ttl=63 time=0.959 ms
 +64 bytes from 10.224.1.2: icmp_seq=2 ttl=63 time=0.679 ms
 +64 bytes from 10.224.1.2: icmp_seq=3 ttl=63 time=0.506 ms
 +
 +--- 10.224.1.2 ping statistics ---
 +3 packets transmitted, 3 received, 0% packet loss, time 2019ms
 +rtt min/avg/max/mdev = 0.506/0.714/0.959/0.186 ms
 +
 +root@linstor-master:~# kubectl exec -it alpine-test -- ping fl8.jp -c 3
 +PING fl8.jp (182.48.51.190): 56 data bytes
 +64 bytes from 182.48.51.190: seq=0 ttl=53 time=8.568 ms
 +64 bytes from 182.48.51.190: seq=1 ttl=53 time=8.715 ms
 +64 bytes from 182.48.51.190: seq=2 ttl=53 time=8.532 ms
 +
 +--- fl8.jp ping statistics ---
 +3 packets transmitted, 3 packets received, 0% packet loss
 +round-trip min/avg/max = 8.532/8.605/8.715 ms
 +</code>
 +==== secret登録 ====
 +
 +<code>
 +kubectl create secret docker-registry drbdiocred --docker-server=drbd.io \
 +  --docker-username=[User] --docker-password=[Pass]
 +</code>
 +
 +==== helm repository登録 ====
 +
 +<code>
 +helm repo add linstor https://charts.linstor.io
 +# helm repo list
 +NAME    URL
 +linstor https://charts.linstor.io
 +</code>
 +
 +
 +==== linstor-opインストール ====
 +
 +<code>
 +helm install linstor-op linstor/linstor \
 +--set operator.controller.enabled=false \
 +--set etcd.persistentVolume.enabled=false \
 +--set operator.etcd.enabled=false \
 +--set controllerEndpoint=http://172.16.0.65:3370
 +</code>
 +
 +
 +==== 確認 ====
 +
 +ちゃんとpodが起動してればOK
 +<code>
 +# kubectl get pod
 +NAME                                         READY   STATUS                  RESTARTS          AGE
 +alpine-test                                  1/1     Running                 0                 9h
 +linstor-op-csi-controller-76d5bcfcb9-z2mrw   6/6     Running                 0                 9h
 +linstor-op-csi-node-54wf6                    3/3     Running                 0                 9h
 +linstor-op-csi-node-9fcn9                    3/3     Running                 0                 9h
 +linstor-op-csi-node-rw4h5                    3/3     Running                 0                 9h
 +linstor-op-etcd-0                            1/1     Running                 0                 9h
 +linstor-op-ha-controller-6f9784f965-bqqcp    1/1     Running                 0                 9h
 +linstor-op-ns-node-74zjb                     0/2     Init:CrashLoopBackOff   111 (3m4s ago)    9h
 +linstor-op-ns-node-ldc5q                     0/2     Init:CrashLoopBackOff   111 (3m51s ago)   9h
 +linstor-op-ns-node-m7hcm                     0/2     Init:CrashLoopBackOff   111 (3m28s ago)   9h
 +linstor-op-operator-7b9b9b685d-mnc8z         1/1     Running                 0                 9h
 +ubuntu                                       1/1     Running                 0                 8h
 +ubuntu-7c969d5f7d-lq96g                      1/1     Running                 0                 8h
 +</code>
 +
 +==== StorageClass作成 ====
 +
 +Kubernetes から利用する為に、StorageClass作成
 +
 +<code|StorageClass.yaml>
 +apiVersion: storage.k8s.io/v1
 +kind: StorageClass
 +metadata:
 +  # The name used to identify this StorageClass.
 +  name: linstor-basic-storage-class
 +  # The name used to match this StorageClass with a provisioner.
 +  # linstor.csi.linbit.com is the name that the LINSTOR CSI plug-in uses to identify itself
 +provisioner: linstor.csi.linbit.com
 +volumeBindingMode: WaitForFirstConsumer
 +parameters:
 +  # LINSTOR will provision volumes from the drbdpool storage pool configured
 +  # On the satellite nodes in the LINSTOR cluster specified in the plug-in's deployment
 +  storagePool: "linstor-pool"
 +  resourceGroup: "linstor-basic-storage-class"
 +  # Setting a fstype is required for "fsGroup" permissions to work correctly.
 +  # Currently supported: xfs/ext4
 +  csi.storage.k8s.io/fstype: xfs
 +  linstor.csi.linbit.com/autoPlace: "3"
 +</code>
 +
 +==== PVC作成 ====
 +
 +<code|pvc.yaml>
 +kind: PersistentVolumeClaim
 +apiVersion: v1
 +metadata:
 +  name: linstor-volume-01
 +spec:
 +  storageClassName: linstor-basic-storage-class
 +  accessModes:
 +    - ReadWriteOnce
 +  resources:
 +    requests:
 +      storage: 3Gi
 +</code>
 +
 +
 +=== PVC作成した時点 ===
 +
 +PVC作成した時点ではまだPVは作成してない。
 +
 +<code>
 +# kubectl apply -f pvc.yaml 
 +persistentvolumeclaim/linstor-volume-01 created
 +
 +# kubectl get pvc
 +NAME                STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
 +linstor-volume-01   Pending                                      linstor-basic-storage-class   4s
 +
 +# kubectl get pv
 +No resources found
 +
 +# linstor volume list -p
 ++------------------------------------------------------------------------------------------+
 +| Node | Resource | StoragePool | VolNr | MinorNr | DeviceName | Allocated | InUse | State |
 +|==========================================================================================|
 ++------------------------------------------------------------------------------------------+
 +</code>
 +==== PodからPV利用 ====
 +
 +<code|ubutnu.yaml>
 +apiVersion: v1
 +kind: Pod
 +metadata:
 +  name: ubuntu
 +spec:
 +  containers:
 +  - image: ubuntu
 +    name: ubuntu
 +    command: [ "/bin/bash", "-c", "--" ]
 +    args: [ "while true; do sleep 30; done;" ]
 +    volumeMounts:
 +    - name: linstor-volume
 +      mountPath: /data
 +    ports:
 +    - containerPort: 80
 +  volumes:
 +  - name: linstor-volume
 +    persistentVolumeClaim:
 +      claimName: "linstor-volume-01"
 +</code>
 +
 +
 +=== Pod作成すると、PVも作成される ===
 +
 +<code>
 +kubectl apply -f ubutnu.yaml
 +
 +# kubectl get pv
 +NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                       STORAGECLASS                  REASON   AGE
 +pvc-c83e52e0-f8c7-447c-a3f2-8f01daaeb4c2   3Gi        RWO            Delete           Bound    default/linstor-volume-01   linstor-basic-storage-class            82s
 +
 +# kubectl get pvc
 +NAME                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
 +linstor-volume-01   Bound    pvc-c83e52e0-f8c7-447c-a3f2-8f01daaeb4c2   3Gi        RWO            linstor-basic-storage-class   4m54s
 +
 +# linstor volume list -p
 ++--------------------------------------------------------------------------------------------------------------------------------------------+
 +| Node           | Resource                                 | StoragePool  | VolNr | MinorNr | DeviceName    | Allocated | InUse  |    State |
 +|============================================================================================================================================|
 +| linstor-node04 | pvc-c83e52e0-f8c7-447c-a3f2-8f01daaeb4c2 | linstor-pool |     0 |    1000 | /dev/drbd1000 |  5.23 MiB | Unused | UpToDate |
 +| linstor-node05 | pvc-c83e52e0-f8c7-447c-a3f2-8f01daaeb4c2 | linstor-pool |     0 |    1000 | /dev/drbd1000 |  4.61 MiB | Unused | UpToDate |
 +| linstor-node06 | pvc-c83e52e0-f8c7-447c-a3f2-8f01daaeb4c2 | linstor-pool |     0 |    1000 | /dev/drbd1000 | 11.38 MiB | Unused | UpToDate |
 ++--------------------------------------------------------------------------------------------------------------------------------------------+
 +</code>
 +
 +
 +=== PVC削除 ===
 +
 +PVCを削除すると、ちゃんとlinstorで削除されている。
 +
 +<code>
 +# kubectl delete pod ubuntu 
 +pod "ubuntu" deleted
 +
 +# kubectl get pvc
 +NAME                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
 +linstor-volume-01   Bound    pvc-06ac4732-f3f4-46fe-a0b6-6f58a9895cb2   3Gi        RWO            linstor-basic-storage-class   29m
 +
 +# kubectl delete pvc linstor-volume-01 
 +persistentvolumeclaim "linstor-volume-01" deleted
 +
 +# linstor volume list -p
 ++------------------------------------------------------------------------------------------+
 +| Node | Resource | StoragePool | VolNr | MinorNr | DeviceName | Allocated | InUse | State |
 +|==========================================================================================|
 ++------------------------------------------------------------------------------------------+
 +</code>
 +
  
 {{tag>Kuberneted DRBD}} {{tag>Kuberneted DRBD}}
06_virtualization/05_container/16_kubernetes_linstor.1653602179.txt.gz · 最終更新: 2022/05/26 21:56 by matsui

ページ用ツール

特に明示されていない限り、本Wikiの内容は次のライセンスに従います： CC Attribution-Noncommercial-Share Alike 4.0 International
CC Attribution-Noncommercial-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki