Aprovisionamiento de PVC en File Storage con Lustre Service

Para aprovisionar dinámicamente una PVC en un nuevo sistema de archivos Lustre creado dinámicamente por el plugin de volumen CSI en el servicio File Storage with Lustre:

1. Cree reglas de seguridad en un grupo de seguridad de red (recomendado) o en una lista de seguridad para el sistema de archivos Lustre y para la subred de nodos de trabajador del cluster.

   Las reglas de seguridad para crear dependen de las ubicaciones de red relativas del sistema de archivos Lustre y de los nodos de trabajador que actúan como cliente, según los siguientes escenarios:

   • Opción 1: Cliente y Lustre en distintas subredes
   • Opción 2: Cliente y Lustre en la misma subred

   Estos escenarios, las reglas de seguridad que se van a crear y dónde crearlas, se describen por completo en la documentación del servicio File Storage with Lustre (consulte Reglas de seguridad de la VCN necesarias).

2. Defina una nueva clase de almacenamiento que utilice el provisionador lustre.csi.oraclecloud.com:
   1. Cree un archivo de manifiesto (por ejemplo, en un archivo denominado lustre-dyn-st-class.yaml), especifique un nombre para la nueva clase de almacenamiento y especifique valores para los parámetros obligatorios y opcionales:

      kind: StorageClass
      apiVersion: storage.k8s.io/v1
      metadata:
        name: <storage-class-name>
      provisioner: lustre.csi.oraclecloud.com
      parameters:
        availabilityDomain: <ad-name>
        compartmentId: <compartment-ocid>   # optional
        subnetId: <subnet-ocid>
        performanceTier: <value>
        fileSystemName: <name>               # optional
        kmsKeyId: <key-ocid>                 # optional
        nsgIds: '["<nsg-ocid>"]'             # optional
        rootSquashEnabled: "<true | false>"  # optional
        rootSquashUid: "<value>"             # optional
        rootSquashGid: "<value>"             # optional
        rootSquashClientExceptions: '["<ip-address>"]'   # optional
        oci.oraclecloud.com/initial-defined-tags-override: '{"<tag-namespace>": {"<tag-key>": "<tag-value>"}}'
        oci.oraclecloud.com/initial-freeform-tags-override: '{"<tag-key>": "<tag-value>"}'
        setupLnet: "<true | false>"                    # optional
        lustreSubnetCidr: "<cidr-block>"      # optional
        lustrePostMountParameters: '[{"<parameter1>": <value>},{"<parameter2>": <value>}]' # optional

      donde:

      • name: <storage-class-name>: necesario. Nombre que elija para la clase de almacenamiento.
      • availabilityDomain: <ad-name>: necesario. Nombre del dominio de disponibilidad en el que se creará el nuevo sistema de archivos Lustre. Por ejemplo, availabilityDomain: US-ASHBURN-AD-1. Para averiguar el nombre de dominio de disponibilidad que se debe utilizar, ejecute el comando de la CLI oci iam availability-domain list (o utilice la operación ListAvailabilityDomains). Para obtener más información, consulte Nombres de dominio de disponibilidad de su arrendamiento.
      • compartmentId: <compartment-ocid>: opcional. OCID del compartimento al que pertenecerá el nuevo sistema de archivos Lustre. Si no se especifica, el valor por defecto es el mismo compartimento que el cluster. Por ejemplo, compartmentId: ocid1.compartment.oc1..aaa______t6q
      • subnetId: <subnet-ocid>: necesario. OCID de la subred en la que se debe montar el nuevo sistema de archivos Lustre. Por ejemplo, subnetId: ocid1.subnet.oc1.iad.aaaa______kfa
      • performanceTier: <value>: necesario. Nivel de rendimiento del sistema de archivos Lustre. Valores permitidos:
        • MBPS_PER_TB_125
        • MBPS_PER_TB_250
        • MBPS_PER_TB_500
        • MBPS_PER_TB_1000
      • fileSystemName: <name>: opcional. El nombre del sistema de archivos Lustre, hasta 8 caracteres. Si no se especifica, se generará y utilizará un valor predeterminado de forma aleatoria. Por ejemplo, fileSystemName: aiworkfs
      • kmsKeyId: <key-ocid>: opcional. OCID de una clave de cifrado maestra que gestiona, con la que cifrar datos estáticos. Si no se especifica, los datos se cifran de forma estática mediante claves de cifrado gestionadas por Oracle. Por ejemplo, kmsKeyId: ocid1.key.oc1.iad.ann______usj
      • nsgIds: '["<nsg-ocid>"]': opcional. Una matriz JSON de hasta cinco OCID de grupo de seguridad de red para asociar con el sistema de archivos Lustre. Por ejemplo, nsgIds: '["ocid1.nsg.oc1.iad.aab______fea"]'
      • rootSquashEnabled: "<true | false>": opcional. Establézcalo en true para restringir el acceso root de los clientes. El valor por defecto es false.
      • rootSquashUid: "<value>": opcional. Cuando el squash raíz está activado, las operaciones raíz se asignan a este UID. El valor predeterminado es 65534..
      • rootSquashGid: "<value>": opcional. Cuando el squash raíz está activado, las operaciones raíz se asignan a este GID. El valor por defecto es 65534.
      • rootSquashClientExceptions: '["<ip-address>"]': opcional. Matriz JSON de direcciones IP o bloques CIDR que no están sujetos al squash raíz (máximo 10 entradas). Por ejemplo, rootSquashClientExceptions: '["10.0.2.4"]'.
      • oci.oraclecloud.com/initial-defined-tags-override: '{"<tag-namespace>": {"<tag-key>": "<tag-value>"}}' Opcional. Especifica una etiqueta definida para el nuevo sistema de archivos. Por ejemplo, oci.oraclecloud.com/initial-defined-tags-override: '{"Org": {"CostCenter": "AI"}}'

        Tenga en cuenta que para aplicar etiquetas definidas de un espacio de nombres de etiqueta que pertenece a un compartimento a un recurso del sistema de archivos que pertenece a un compartimento diferente, debe incluir una sentencia de política para permitir que el cluster utilice el espacio de nombres de etiqueta. Consulte Política de IAM adicional cuando un cluster y un espacio de nombres de etiqueta están en diferentes compartimentos.

      • oci.oraclecloud.com/initial-freeform-tags-override: '{"<tag-key>": "<tag-value>"}' Opcional. Especifica una etiqueta de formato libre para el nuevo sistema de archivos. Por ejemplo, oci.oraclecloud.com/initial-freeform-tags-override: '{"Project": "ML"}'
      • setupLnet: "<true | false>": opcional. Establézcalo en true si el controlador Lustre CSI debe realizar la configuración de la red Lustre (LNet) antes del montaje. Se recomienda incluir el parámetro setupLnet y definirlo en "true".
      • lustreSubnetCidr: "<cidr-block>": opcional. Se define en el rango de red de origen del nodo de trabajador utilizado para el tráfico Lustre:
        • Cuándo utilizar: especifique solo un rango de red si los nodos de trabajador utilizan una VNIC secundaria para conectarse al sistema de archivos Lustre. Este CIDR debe coincidir con el bloque de subred de esa VNIC secundaria (por ejemplo, 10.0.2.0/24).
        • Cuándo omitir: no especifique un rango de red si los nodos de trabajador utilizan su VNIC principal (la interfaz por defecto) para la conectividad de Lustre.
        • Importante: este parámetro es diferente al parámetro subnetId del sistema de archivos Lustre, que define dónde se encuentra el sistema de archivos Lustre.
      • lustrePostMountParameters: '[{"<parameter1>": <value>},{"<parameter2>": <value>}]': opcional. Matriz JSON de parámetros avanzados del cliente Lustre que se deben definir después del montaje. Por ejemplo, lustrePostMountParameters: '[{"*.*.*MDT*.lru_size": 11200},{"at_history": 600}]'

      Por ejemplo:

      kind: StorageClass
      apiVersion: storage.k8s.io/v1
      metadata:
        name: lustre-dyn-storage
      provisioner: lustre.csi.oraclecloud.com
      parameters:
        availabilityDomain: US-ASHBURN-AD-1
        compartmentId: ocid1.compartment.oc1..aaa______t6q # optional
        subnetId: ocid1.subnet.oc1.iad.aaaa______kfa
        performanceTier: MBPS_PER_TB_250
        fileSystemName: aiworkfs                           # optional
        kmsKeyId: ocid1.key.oc1.iad.ann______usj           # optional
        nsgIds: '["ocid1.nsg.oc1.iad.aab______fea"]'       # optional
        oci.oraclecloud.com/initial-defined-tags-override: '{"Org": {"CostCenter": "AI"}}'
        oci.oraclecloud.com/initial-freeform-tags-override: '{"Project": "ML"}'
        setupLnet: "true"                    # optional

   2. Cree la clase de almacenamiento desde el archivo de manifiesto introduciendo:

      kubectl create -f <filename>

      Por ejemplo:

      kubectl create -f lustre-dyn-st-class.yaml

3. Cree una PVC para que la aprovisione el nuevo sistema de archivos en el servicio File Storage with Lustre, de la siguiente manera:
   1. Cree un archivo de manifiesto para definir la PVC:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: <pvc-name>
      spec:
        accessModes:
          - <ReadWriteMany|ReadOnlyOncePod>
        storageClassName: "<storage-class-name>"
        resources:
          requests:
            storage: <capacity>

      donde:

      • name: <pvc-name>: necesario. Por ejemplo, lustre-dynamic-claim
      • storageClassName: "<storage-class-name>": necesario. Nombre de la clase de almacenamiento que ha definido anteriormente. Por ejemplo, lustre-dyn-storage.
      • accessModes: - <ReadWriteMany|ReadOnlyOncePod>: necesario. Especifica cómo los pods montarán y compartirán el sistema de archivos. Actualmente están soportados ReadWriteMany y ReadOnlyOncePod. Por ejemplo, ReadWriteMany.
      • storage: <capacity>: necesario. Este valor debe ser al menos 31.2T (o 31200G). Puede especificar una capacidad mayor, pero debe utilizar incrementos concretos que dependan de la capacidad (consulte Aumento de la Capacidad del Sistema de Archivos). Por ejemplo, 31.2T.

      Por ejemplo, el siguiente archivo de manifiesto (denominado lustre-dyn-claim.yaml) define una PVC denominada lustre-dynamic-claim que aprovisiona el sistema de archivos definido en la clase de almacenamiento lustre-dyn-storage:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: lustre-dynamic-claim
      spec:
        accessModes:
          - ReadWriteMany
        storageClassName: "lustre-dyn-storage"
        resources:
          requests:
            storage: 31.2T

   2. Cree la PVC a partir del archivo de manifiesto introduciendo:

      kubectl create -f <filename> 

      Por ejemplo:

      kubectl create -f lustre-dyn-claim.yaml

   Se crea un nuevo PVC. El plugin de volumen CSI crea un nuevo volumen persistente (PV) y un nuevo sistema de archivos en el servicio File Storage with Lustre. Tenga en cuenta que la creación de un nuevo sistema de archivos Lustre tarda al menos 10 minutos y puede tardar más, según el tamaño del sistema de archivos. Utilice la consola o la CLI para confirmar que se ha creado el nuevo sistema de archivos Lustre (consulte Listing File Systems).

   El nuevo PVC está ligado al nuevo PV. Los datos se cifran cuando están estáticos mediante claves de cifrado gestionadas por Oracle o por Vd.

4. Verifique que la PVC se haya enlazado al nuevo volumen persistente introduciendo:

   kubectl get pvc

   Salida de ejemplo:

   			
   NAME                   STATUS    VOLUME                    CAPACITY         ACCESSMODES   STORAGECLASS         AGE
   lustre-dynamic-claim   Bound     csi-lustre-<unique_ID>    30468750000Ki    RWX           lustre-dyn-storage   4m

5. Utilice la nueva PVC al crear otros objetos, como pods. Por ejemplo, puede crear un nuevo pod a partir de la siguiente definición de pod:

   apiVersion: v1
   kind: Pod
   metadata:
     name: lustre-dynamic-app
   spec:
     containers:
       - name: aiworkload
         image: busybox:latest
         command: ["sleep", "3600"]
         volumeMounts:
           - name: lustre-vol
             mountPath: /mnt/lustre
     volumes:
       - name: lustre-vol
         persistentVolumeClaim:
           claimName: lustre-dynamic-claim

6. Después de haber creado un nuevo pod como se describe en el ejemplo del paso anterior, puede verificar que el pod está utilizando la nueva PVC introduciendo:

   kubectl describe pod lustre-dynamic-app

Para crear una PVC en un sistema de archivos existente en el servicio File Storage with Lustre (mediante claves de cifrado gestionadas por Oracle para cifrar datos estáticos):

1. Cree un sistema de archivos en el servicio File Storage con Lustre, seleccionando la opción de cifrado Cifrar mediante claves gestionadas por Oracle. Consulte Creating a Lustre File System.
2. Cree reglas de seguridad en un grupo de seguridad de red (recomendado) o en una lista de seguridad tanto para el sistema de archivos Lustre como para la subred de nodos de trabajador del cluster.
   Las reglas de seguridad que se van a crear dependen de las ubicaciones de red relativas del sistema de archivos Lustre y de los nodos de trabajador que actúan como cliente, según los siguientes escenarios:

   • Opción 1: Cliente y brillo en distintas subredes
   • Opción 2: Cliente y brillo en la misma subred

   Estos escenarios, las reglas de seguridad que se van a crear y dónde se van a crear, se describen por completo en la documentación del servicio File Storage with Lustre (consulte Reglas de seguridad de VCN necesarias).

3. Cree un PV respaldado por el sistema de archivos en File Storage con el servicio Lustre de la siguiente manera:

   1. Cree un archivo de manifiesto para definir un PV y, en la sección csi:, defina:

      • De driver a lustre.csi.oraclecloud.com
      • De volumeHandle a <MGSAddress>@<LNetName>:/<MountName>

        donde:

        • <MGSAddress> es la dirección del servicio de gestión para el sistema de archivos en File Storage con el servicio Lustre
        • <LNetName> es el nombre de red LNet para el sistema de archivos en el servicio File Storage con Lustre.
        • <MountName> es el nombre de montaje utilizado al crear el sistema de archivos en File Storage con el servicio Lustre.

        Por ejemplo: 10.0.2.6@tcp:/testlustrefs

      • De fsType a lustre
      • (Opcional, pero recomendado) De volumeAttributes.setupLnet a "true" si desea que el controlador CSI de Lustre realice la configuración de lnet (red de Lustre) antes de montar el sistema de archivos.
      • (Opcional) volumeAttributes.lustreSubnetCidr para el rango de red de origen del nodo de trabajador utilizado para el tráfico Lustre:
        • Cuándo utilizar: especifique solo un rango de red si los nodos de trabajador utilizan una VNIC secundaria para conectarse al sistema de archivos Lustre. Este CIDR debe coincidir con el bloque de subred de esa VNIC secundaria (por ejemplo, 10.0.2.0/24).
        • Cuándo omitir: no especifique un rango de red si los nodos de trabajador utilizan su VNIC principal (la interfaz por defecto) para la conectividad de Lustre.
        • Importante: este parámetro es diferente al parámetro subnetId del sistema de archivos Lustre, que define dónde se encuentra el sistema de archivos Lustre.
      • (Opcional) volumeAttributes.lustrePostMountParameters para definir los parámetros de Lustre. Por ejemplo:

        ...
            volumeAttributes:
              lustrePostMountParameters: '[{"*.*.*MDT*.lru_size": 11200},{"at_history" :
            600}]'

      Por ejemplo, el siguiente archivo de manifiesto (lustre-PV-example.yaml) define un PV denominado lustre-pv-example respaldado por un sistema de archivos Lustre:

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: lustre-pv-example
      spec:
        capacity:
          storage: 31.2T
        volumeMode: Filesystem
        accessModes:
          - ReadWriteMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: lustre.csi.oraclecloud.com
          volumeHandle: "10.0.2.6@tcp:/testlustrefs"
          fsType: lustre
          volumeAttributes:
            setupLnet: "true"

   2. Cree el PV desde el archivo de manifiesto introduciendo:

      kubectl apply -f <filename>

      Por ejemplo:

      kubectl apply -f lustre-pv-example.yaml

   3. Verifique que el PV se ha creado correctamente introduciendo:

      kubectl get pv <pv-name>

      Por ejemplo:

      kubectl get pv lustre-pv-example

      Salida de ejemplo:

      
      NAME                CAPACITY        ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM   STORAGECLASS   REASON   AGE
      lustre-pv-example   30468750000Ki   RWX            Retain           Bound                                    56m
      

4. Cree una PVC aprovisionada por el PV que ha creado, de la siguiente manera:
   1. Cree un archivo de manifiesto para definir la PVC y defina:
      • storageClassName a "" Tenga en cuenta que debe especificar un valor vacío para storageClassName, aunque la clase de almacenamiento no sea aplicable en el caso del aprovisionamiento estático del almacenamiento persistente. Si no especifica un valor vacío para storageClassName, se utiliza la clase de almacenamiento por defecto (oci-bv), lo que provoca un error.
      • volumeName al nombre del PV que ha creado (por ejemplo, lustre-pv-example)

      Por ejemplo, el siguiente archivo de manifiesto (denominado lustre-PVC-example.yaml) define una PVC denominada lustre-pvc-example que se enlazará a un PV denominado lustre-pv-example:

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: lustre-pvc-example
      spec:
        accessModes:
          - ReadWriteMany
        storageClassName: ""
        volumeName: lustre-pv-example
        resources:
          requests:
            storage:  31.2T

      Tenga en cuenta que el elemento requests: storage: debe estar presente en el archivo de manifiesto de PVC y su valor debe coincidir con el valor especificado para el elemento capacity: storage: en el archivo de manifiesto de PV. Aparte de eso, se ignora el valor del elemento requests: storage:.

   2. Cree la PVC desde el archivo de manifiesto introduciendo:

      kubectl apply -f <filename>

      Por ejemplo:

      kubectl apply -f lustre-pvc-example.yaml

   3. Verifique que la PVC se ha creado y se ha enlazado al PV correctamente introduciendo:

      kubectl get pvc <pvc-name>

      Por ejemplo:

      kubectl get pvc lustre-pvc-example

      Salida de ejemplo:

      
      NAME                    STATUS   VOLUME              CAPACITY         ACCESS MODES   STORAGECLASS   AGE
      lustre-pvc-example      Bound    lustre-pv-example   30468750000Ki    RWX                           57m

   La PVC está enlazada al PV respaldado por el sistema de archivos del servicio File Storage con Lustre. Los datos se cifran estáticos mediante claves de cifrado gestionadas por Oracle.

5. Utilice la nueva PVC al crear otros objetos, como despliegues. Por ejemplo:
   1. Cree un manifiesto denominado lustre-app-example-deployment.yaml para definir un despliegue denominado lustre-app-example-deployment que utilice la PVC lustre-pvc-example, de la siguiente forma:

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: lustre-app-example-deployment
      spec:
        selector:
          matchLabels:
            app: lustre-app-example
        replicas: 2
        template:
          metadata:
            labels:
              app: lustre-app-example
          spec:
            containers:
            - args:
              - -c
              - while true; do echo $(date -u) >> /lustre/data/out.txt; sleep 60; done
              command:
              - /bin/sh
              image: busybox:latest
              imagePullPolicy: Always
              name: lustre-app-example
              volumeMounts:
              - mountPath: /lustre/data
                name: lustre-volume
            restartPolicy: Always
            volumes:
            - name: lustre-volume
              persistentVolumeClaim:
                claimName: lustre-pvc-example

   2. Cree el despliegue a partir del archivo de manifiesto introduciendo:

      kubectl apply -f lustre-app-example-deployment.yaml

   3. Verifique que los pods de despliegue se han creado correctamente y se están ejecutando introduciendo:

      kubectl get pods

      Salida de ejemplo:

      NAME                                             READY   STATUS              RESTARTS   AGE
      lustre-app-example-deployment-7767fdff86-nd75n   1/1     Running             0          8h
      lustre-app-example-deployment-7767fdff86-wmxlh   1/1     Running             0          8h