Bereitstellung von PVCs im Dateispeicher mit Lustre Service

So stellen Sie ein PVC dynamisch in einem neuen Lustre-Dateisystem bereit, das dynamisch vom CSI-Volume-Plug-in im File Storage with Lustre-Service erstellt wird:

1. Erstellen Sie Sicherheitsregeln in einer Netzwerksicherheitsgruppe (empfohlen) oder einer Sicherheitsliste sowohl für das Lustre-Dateisystem als auch für das Worker-Knoten-Subnetz des Clusters.

   Die zu erstellenden Sicherheitsregeln hängen von den relativen Netzwerkverzeichnissen des Lustre-Dateisystems und den Worker-Knoten ab, die als Client fungieren, gemäß den folgenden Szenarios:

   • Option 1: Client und Lustre in verschiedenen Subnetzen
   • Option 2: Client und Lustre im selben Subnetz

   Diese Szenarios, die zu erstellenden Sicherheitsregeln und die Stelle, an der sie erstellt werden sollen, sind in der Dokumentation zum File Storage with Lustre-Service ausführlich beschrieben (siehe Erforderliche VCN-Sicherheitsregeln).

2. Definieren Sie eine neue Speicherklasse, die den lustre.csi.oraclecloud.com-Provisioner verwendet:
   1. Erstellen Sie eine Manifestdatei (z.B. in einer Datei namens lustre-dyn-st-class.yaml), geben Sie einen Namen für die neue Speicherklasse an, und geben Sie Werte für erforderliche und optionale Parameter an:

      kind: StorageClass
      apiVersion: storage.k8s.io/v1
      metadata:
        name: <storage-class-name>
      provisioner: lustre.csi.oraclecloud.com
      parameters:
        availabilityDomain: <ad-name>
        compartmentId: <compartment-ocid>   # optional
        subnetId: <subnet-ocid>
        performanceTier: <value>
        fileSystemName: <name>               # optional
        kmsKeyId: <key-ocid>                 # optional
        nsgIds: '["<nsg-ocid>"]'             # optional
        rootSquashEnabled: "<true | false>"  # optional
        rootSquashUid: "<value>"             # optional
        rootSquashGid: "<value>"             # optional
        rootSquashClientExceptions: '["<ip-address>"]'   # optional
        oci.oraclecloud.com/initial-defined-tags-override: '{"<tag-namespace>": {"<tag-key>": "<tag-value>"}}'
        oci.oraclecloud.com/initial-freeform-tags-override: '{"<tag-key>": "<tag-value>"}'
        setupLnet: "<true | false>"                    # optional
        lustreSubnetCidr: "<cidr-block>"      # optional
        lustrePostMountParameters: '[{"<parameter1>": <value>},{"<parameter2>": <value>}]' # optional

      Hierbei gilt:

      • name: <storage-class-name>: Erforderlich. Ein Name Ihrer Wahl für die Speicherklasse.
      • availabilityDomain: <ad-name>: Erforderlich. Der Name der Availability-Domain, in der das neue Lustre-Dateisystem erstellt werden soll. Beispiel: availabilityDomain: US-ASHBURN-AD-1. Um den zu verwendenden Availability-Domainnamen zu ermitteln, führen Sie den CLI-Befehl oci iam availability-domain list aus (oder verwenden Sie den Vorgang ListAvailabilityDomains). Weitere Informationen finden Sie unter Availability-Domainnamen Ihres Mandanten.
      • compartmentId: <compartment-ocid>: Optional. Die OCID des Compartments, zu dem das neue Lustre-Dateisystem gehören soll. Wenn keine Angabe gemacht wird, wird standardmäßig dasselbe Compartment wie das Cluster verwendet. Beispiel: compartmentId: ocid1.compartment.oc1..aaa______t6q
      • subnetId: <subnet-ocid>: Erforderlich. Die OCID des Subnetzes, in dem das neue Lustre-Dateisystem gemountet werden soll. Beispiel: subnetId: ocid1.subnet.oc1.iad.aaaa______kfa
      • performanceTier: <value>: Erforderlich. Die Performanceebene des Lustre-Dateisystems. Zulässige Werte
        • MBPS_PER_TB_125
        • MBPS_PER_TB_250
        • MBPS_PER_TB_500
        • MBPS_PER_TB_1000
      • fileSystemName: <name>: Optional. Der Name des Lustre-Dateisystems, bis zu 8 Zeichen. Wenn kein Wert angegeben wird, wird ein Standardwert zufällig generiert und verwendet. Beispiel: fileSystemName: aiworkfs
      • kmsKeyId: <key-ocid>: Optional. Die OCID eines von Ihnen verwalteten Masterverschlüsselungsschlüssels, mit dem Daten im Ruhezustand verschlüsselt werden. Wenn keine Angabe gemacht wird, werden die Daten im Ruhezustand mit Verschlüsselungsschlüsseln verschlüsselt, die von Oracle verwaltet werden. Beispiel: kmsKeyId: ocid1.key.oc1.iad.ann______usj
      • nsgIds: '["<nsg-ocid>"]': Optional. Ein JSON-Array mit bis zu fünf Netzwerksicherheitsgruppen-OCIDs, die mit dem Lustre-Dateisystem verknüpft werden sollen. Beispiel: nsgIds: '["ocid1.nsg.oc1.iad.aab______fea"]'
      • rootSquashEnabled: "<true | false>": Optional. Setzen Sie diesen Wert auf true, um den Root-Zugriff von Clients einzuschränken. Standard ist false.
      • rootSquashUid: "<value>": Optional. Wenn Root Squash aktiviert ist, werden Root-Vorgänge dieser UID zugeordnet. Standard ist 65534.
      • rootSquashGid: "<value>": Optional. Wenn Root Squash aktiviert ist, werden Root-Vorgänge dieser GID zugeordnet. Standard ist 65534.
      • rootSquashClientExceptions: '["<ip-address>"]': Optional. Ein JSON-Array mit IP-Adressen oder CIDR-Blöcken, die keinem Root-Squash unterliegen (maximal 10 Einträge). Beispiel: rootSquashClientExceptions: '["10.0.2.4"]'.
      • oci.oraclecloud.com/initial-defined-tags-override: '{"<tag-namespace>": {"<tag-key>": "<tag-value>"}}' Optional. Gibt ein definiertes Tag für das neue Dateisystem an. Beispiel: oci.oraclecloud.com/initial-defined-tags-override: '{"Org": {"CostCenter": "AI"}}'

        Um definierte Tags aus einem Tag-Namespace, der zu einem Compartment gehört, auf eine Dateisystemressource anzuwenden, die zu einem anderen Compartment gehört, müssen Sie eine Policy-Anweisung hinzufügen, damit das Cluster den Tag-Namespace verwenden kann. Siehe Zusätzliche IAM-Policy, wenn sich ein Cluster und ein Tag-Namespace in verschiedenen Compartments befinden.

      • oci.oraclecloud.com/initial-freeform-tags-override: '{"<tag-key>": "<tag-value>"}' Optional. Gibt ein Freiformtag für das neue Dateisystem an. Beispiel: oci.oraclecloud.com/initial-freeform-tags-override: '{"Project": "ML"}'
      • setupLnet: "<true | false>": Optional. Setzen Sie diesen Wert auf true, wenn der Lustre CSI-Treiber vor dem Einhängen das Setup von Lustre Network (LNet) durchführen soll. Es wird dringend empfohlen, den Parameter setupLnet einzuschließen und "true" festzulegen.
      • lustreSubnetCidr: "<cidr-block>": Optional. Legen Sie den Quellnetzwerkbereich des Worker-Knotens fest, der für Lustre-Traffic verwendet wird:
        • Verwendungszeitpunkt: Geben Sie nur einen Netzwerkbereich an, wenn Worker-Knoten eine sekundäre VNIC verwenden, um eine Verbindung zum Lustre-Dateisystem herzustellen. Dieses CIDR muss mit dem Subnetzblock dieser sekundären VNIC übereinstimmen (Beispiel: 10.0.2.0/24).
        • Auslassungszeitpunkt: Geben Sie keinen Netzwerkbereich an, wenn Worker-Knoten ihre primäre VNIC (Standardschnittstelle) für Lustre-Konnektivität verwenden.
        • Wichtig: Dieser Parameter unterscheidet sich vom Parameter subnetId des Lustre-Dateisystems, der definiert, wo sich das Lustre-Dateisystem selbst befindet.
      • lustrePostMountParameters: '[{"<parameter1>": <value>},{"<parameter2>": <value>}]': Optional. JSON-Array mit erweiterten Lustre-Clientparametern, die nach dem Einhängen festgelegt werden. Beispiel: lustrePostMountParameters: '[{"*.*.*MDT*.lru_size": 11200},{"at_history": 600}]'

      Beispiel:

      kind: StorageClass
      apiVersion: storage.k8s.io/v1
      metadata:
        name: lustre-dyn-storage
      provisioner: lustre.csi.oraclecloud.com
      parameters:
        availabilityDomain: US-ASHBURN-AD-1
        compartmentId: ocid1.compartment.oc1..aaa______t6q # optional
        subnetId: ocid1.subnet.oc1.iad.aaaa______kfa
        performanceTier: MBPS_PER_TB_250
        fileSystemName: aiworkfs                           # optional
        kmsKeyId: ocid1.key.oc1.iad.ann______usj           # optional
        nsgIds: '["ocid1.nsg.oc1.iad.aab______fea"]'       # optional
        oci.oraclecloud.com/initial-defined-tags-override: '{"Org": {"CostCenter": "AI"}}'
        oci.oraclecloud.com/initial-freeform-tags-override: '{"Project": "ML"}'
        setupLnet: "true"                    # optional

   2. Erstellen Sie die Speicherklasse aus der Manifestdatei, indem Sie Folgendes eingeben:

      kubectl create -f <filename>

      Beispiel:

      kubectl create -f lustre-dyn-st-class.yaml

3. Erstellen Sie wie folgt eine PVC, die vom neuen Dateisystem im File Storage with Lustre-Service bereitgestellt werden soll:
   1. Erstellen Sie eine Manifestdatei, um den PVC zu definieren:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: <pvc-name>
      spec:
        accessModes:
          - <ReadWriteMany|ReadOnlyOncePod>
        storageClassName: "<storage-class-name>"
        resources:
          requests:
            storage: <capacity>

      Hierbei gilt:

      • name: <pvc-name>: Erforderlich. Beispiel: lustre-dynamic-claim
      • storageClassName: "<storage-class-name>": Erforderlich. Der Name der zuvor definierten Speicherklasse. Beispiel: lustre-dyn-storage.
      • accessModes: - <ReadWriteMany|ReadOnlyOncePod>: Erforderlich. Gibt an, wie das Dateisystem gemountet und von Pods gemeinsam genutzt werden soll. Derzeit werden ReadWriteMany und ReadOnlyOncePod unterstützt. Beispiel: ReadWriteMany.
      • storage: <capacity>: Erforderlich. Dieser Wert muss mindestens 31.2T (oder 31200G) sein. Sie können eine größere Kapazität angeben, müssen jedoch bestimmte von der Kapazität abhängige Inkremente verwenden (siehe Increasing File System Capacity). Beispiel: 31.2T.

      Beispiel: Die folgende Manifestdatei (mit dem Namen lustre-dyn-claim.yaml) definiert einen PVC namens lustre-dynamic-claim, der vom Dateisystem bereitgestellt wird, das in der Speicherklasse lustre-dyn-storage definiert ist:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: lustre-dynamic-claim
      spec:
        accessModes:
          - ReadWriteMany
        storageClassName: "lustre-dyn-storage"
        resources:
          requests:
            storage: 31.2T

   2. Erstellen Sie das PVC aus der Manifestdatei, indem Sie Folgendes eingeben:

      kubectl create -f <filename> 

      Beispiel:

      kubectl create -f lustre-dyn-claim.yaml

   Es entsteht ein neues PVC. Das CSI-Volume-Plug-in erstellt ein neues persistentes Volume (PV) und ein neues Dateisystem im File Storage with Lustre-Service. Das Erstellen eines neuen Lustre-Dateisystems dauert mindestens 10 Minuten und kann je nach Größe des Dateisystems länger dauern. Über die Konsole oder die CLI können Sie bestätigen, dass das neue Lustre-Dateisystem erstellt wurde (siehe Dateisysteme auflisten).

   Das neue PVC ist an die neue PV gebunden. Daten werden im Ruhezustand mit Verschlüsselungsschlüsseln verschlüsselt, die entweder von Oracle oder von Ihnen verwaltet werden.

4. Prüfen Sie, ob der PVC an das neue Persistent Volume gebunden wurde, indem Sie Folgendes eingeben:

   kubectl get pvc

   Beispielausgabe:

   			
   NAME                   STATUS    VOLUME                    CAPACITY         ACCESSMODES   STORAGECLASS         AGE
   lustre-dynamic-claim   Bound     csi-lustre-<unique_ID>    30468750000Ki    RWX           lustre-dyn-storage   4m

5. Verwenden Sie das neue PVC, wenn Sie andere Objekte wie Pods erstellen. Beispiel: Sie können einen neuen Pod aus der folgenden Poddefinition erstellen:

   apiVersion: v1
   kind: Pod
   metadata:
     name: lustre-dynamic-app
   spec:
     containers:
       - name: aiworkload
         image: busybox:latest
         command: ["sleep", "3600"]
         volumeMounts:
           - name: lustre-vol
             mountPath: /mnt/lustre
     volumes:
       - name: lustre-vol
         persistentVolumeClaim:
           claimName: lustre-dynamic-claim

6. Nachdem Sie einen neuen Pod erstellt haben, wie im Beispiel im vorherigen Schritt beschrieben, können Sie prüfen, ob der Pod den neuen PVC verwendet, indem Sie Folgendes eingeben:

   kubectl describe pod lustre-dynamic-app

So erstellen Sie einen PVC in einem vorhandenen Dateisystem im File Storage with Lustre-Service (mit von Oracle verwalteten Verschlüsselungsschlüsseln zur Verschlüsselung von Daten im Ruhezustand):

1. Erstellen Sie ein Dateisystem im File Storage with Lustre-Service, und wählen Sie die Verschlüsselungsoption Mit von Oracle verwalteten Schlüsseln verschlüsseln aus. Siehe Lustre File System erstellen.
2. Erstellen Sie Sicherheitsregeln in einer Netzwerksicherheitsgruppe (empfohlen) oder einer Sicherheitsliste sowohl für das Lustre-Dateisystem als auch für das Worker-Knoten-Subnetz des Clusters.
   Die zu erstellenden Sicherheitsregeln hängen von den relativen Netzwerkspeicherorten des Lustre-Dateisystems und den Worker-Knoten ab, die als Client fungieren. Dabei gelten folgende Szenarios:

   • Option 1: Client und Lustre in verschiedenen Subnetzen
   • Option 2: Client und Lustre im selben Subnetz

   Diese Szenarios, die zu erstellenden Sicherheitsregeln und deren Erstellung werden in der Dokumentation zum File Storage with Lustre-Service ausführlich beschrieben (siehe Erforderliche VCN-Sicherheitsregeln).

3. Erstellen Sie wie folgt eine PV, die vom Dateisystem im File Storage with Lustre-Service gesichert wird:

   1. Erstellen Sie eine Manifestdatei, um eine PV zu definieren, und legen Sie im Abschnitt csi: Folgendes fest:

      • driver bis lustre.csi.oraclecloud.com
      • volumeHandle bis <MGSAddress>@<LNetName>:/<MountName>

        Hierbei gilt:

        • <MGSAddress> ist die Management-Serviceadresse für das Dateisystem im File Storage with Lustre-Service
        • <LNetName> ist der Netzwerkname LNet für das Dateisystem im File Storage with Lustre-Service.
        • <MountName> ist der Mountname, der beim Erstellen des Dateisystems im File Storage with Lustre-Service verwendet wird.

        Beispiel: 10.0.2.6@tcp:/testlustrefs

      • fsType bis lustre
      • (optional, aber empfohlen) volumeAttributes.setupLnet bis "true", wenn der Lustre CSI-Treiber vor dem Mounten des Dateisystems lnet (Lustre Network) einrichten soll.
      • (Optional) volumeAttributes.lustreSubnetCidr zum Quellnetzwerkbereich des Worker-Knotens, der für Lustre-Traffic verwendet wird:
        • Verwendungszeitpunkt: Geben Sie nur einen Netzwerkbereich an, wenn Worker-Knoten eine sekundäre VNIC verwenden, um eine Verbindung zum Lustre-Dateisystem herzustellen. Dieses CIDR muss mit dem Subnetzblock dieser sekundären VNIC übereinstimmen (Beispiel: 10.0.2.0/24).
        • Auslassungszeitpunkt: Geben Sie keinen Netzwerkbereich an, wenn Worker-Knoten ihre primäre VNIC (Standardschnittstelle) für Lustre-Konnektivität verwenden.
        • Wichtig: Dieser Parameter unterscheidet sich vom Parameter subnetId des Lustre-Dateisystems, der definiert, wo sich das Lustre-Dateisystem selbst befindet.
      • (Optional) volumeAttributes.lustrePostMountParameters, um Lustre-Parameter festzulegen. Beispiel:

        ...
            volumeAttributes:
              lustrePostMountParameters: '[{"*.*.*MDT*.lru_size": 11200},{"at_history" :
            600}]'

      Beispiel: Die folgende Manifestdatei (benannt lustre-PV-example.yaml) definiert ein PV namens lustre-pv-example, das von einem Lustre-Dateisystem unterstützt wird:

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: lustre-pv-example
      spec:
        capacity:
          storage: 31.2T
        volumeMode: Filesystem
        accessModes:
          - ReadWriteMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: lustre.csi.oraclecloud.com
          volumeHandle: "10.0.2.6@tcp:/testlustrefs"
          fsType: lustre
          volumeAttributes:
            setupLnet: "true"

   2. Erstellen Sie die PV aus der Manifestdatei, indem Sie Folgendes eingeben:

      kubectl apply -f <filename>

      Beispiel:

      kubectl apply -f lustre-pv-example.yaml

   3. Prüfen Sie, ob die PV erfolgreich erstellt wurde, indem Sie Folgendes eingeben:

      kubectl get pv <pv-name>

      Beispiel:

      kubectl get pv lustre-pv-example

      Beispielausgabe:

      
      NAME                CAPACITY        ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM   STORAGECLASS   REASON   AGE
      lustre-pv-example   30468750000Ki   RWX            Retain           Bound                                    56m
      

4. Erstellen Sie wie folgt ein PVC, das von der von Ihnen erstellten PV bereitgestellt wird:
   1. Erstellen Sie eine Manifestdatei, um das PVC zu definieren und festzulegen:
      • storageClassName zu "" Beachten Sie, dass Sie einen leeren Wert für storageClassName angeben müssen, auch wenn die Speicherklasse beim statischen Provisioning des persistenten Speichers nicht anwendbar ist. Wenn Sie keinen leeren Wert für storageClassName angeben, wird die Standardspeicherklasse (oci-bv) verwendet, die einen Fehler verursacht.
      • volumeName für den Namen des von Ihnen erstellten PV (Beispiel: lustre-pv-example)

      Beispiel: Die folgende Manifestdatei (benannt lüster-PVC-example.yaml) definiert ein PVC namens lustre-pvc-example, das an ein PV namens lustre-pv-example gebunden wird:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: lustre-pvc-example
      spec:
        accessModes:
          - ReadWriteMany
        storageClassName: ""
        volumeName: lustre-pv-example
        resources:
          requests:
            storage:  31.2T

      Beachten Sie, dass das Element requests: storage: in der Manifestdatei des PVC vorhanden sein muss und sein Wert mit dem Wert übereinstimmen muss, der für das Element capacity: storage: in der Manifestdatei des PV angegeben wurde. Abgesehen davon wird der Wert des Elements requests: storage: ignoriert.

   2. Erstellen Sie den PVC aus der Manifestdatei, indem Sie Folgendes eingeben:

      kubectl apply -f <filename>

      Beispiel:

      kubectl apply -f lustre-pvc-example.yaml

   3. Prüfen Sie, ob der PVC erfolgreich erstellt und an den PV gebunden wurde, indem Sie:

      kubectl get pvc <pvc-name>

      Beispiel:

      kubectl get pvc lustre-pvc-example

      Beispielausgabe:

      
      NAME                    STATUS   VOLUME              CAPACITY         ACCESS MODES   STORAGECLASS   AGE
      lustre-pvc-example      Bound    lustre-pv-example   30468750000Ki    RWX                           57m

   Das PVC ist an das PV gebunden, das durch das File Storage with Lustre Service-Dateisystem gesichert wird. Die Daten werden im Ruhezustand mit von Oracle verwalteten Verschlüsselungsschlüsseln verschlüsselt.

5. Verwenden Sie das neue PVC, wenn Sie andere Objekte wie Deployments erstellen. Beispiel:
   1. Erstellen Sie wie folgt ein Manifest namens lustre-app-example-deployment.yaml, um ein Deployment namens lustre-app-example-deployment zu definieren, das den PVC lustre-pvc-example verwendet:

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: lustre-app-example-deployment
      spec:
        selector:
          matchLabels:
            app: lustre-app-example
        replicas: 2
        template:
          metadata:
            labels:
              app: lustre-app-example
          spec:
            containers:
            - args:
              - -c
              - while true; do echo $(date -u) >> /lustre/data/out.txt; sleep 60; done
              command:
              - /bin/sh
              image: busybox:latest
              imagePullPolicy: Always
              name: lustre-app-example
              volumeMounts:
              - mountPath: /lustre/data
                name: lustre-volume
            restartPolicy: Always
            volumes:
            - name: lustre-volume
              persistentVolumeClaim:
                claimName: lustre-pvc-example

   2. Erstellen Sie das Deployment aus der Manifestdatei, indem Sie Folgendes eingeben:

      kubectl apply -f lustre-app-example-deployment.yaml

   3. Prüfen Sie, ob die Deployment-Pods erfolgreich erstellt wurden und ausgeführt werden, indem Sie Folgendes eingeben:

      kubectl get pods

      Beispielausgabe:

      NAME                                             READY   STATUS              RESTARTS   AGE
      lustre-app-example-deployment-7767fdff86-nd75n   1/1     Running             0          8h
      lustre-app-example-deployment-7767fdff86-wmxlh   1/1     Running             0          8h