Documentación de Oracle Cloud Infrastructure

Clonación de configuraciones de cluster

Existen funciones de ayuda de inicialización de datos basadas en la configuración del cluster para importar y exportar configuraciones de cluster en Big Data Service.

El soporte de exportación e importación de configuraciones de servicio ODH de Big Data Service en clusters de origen y destino proporciona una forma práctica de mover el entorno ODH de Big Data Service entre clusters por varios motivos, lo que ahorra tiempo y esfuerzo.

La exportación e importación de configuraciones del servicio ODH de Big Data Service resulta útil en varios escenarios;

Recuperación ante desastres
Para recuperarse de un cluster ODH de Big Data Service principal fallido, utilice la función de ayuda de importación para crear rápidamente un nuevo cluster e importar la configuración de los servicios.
Prueba y desarrollo
Para crear un entorno de prueba o desarrollo, utilice la función auxiliar de exportación para crear una copia de seguridad de la configuración de cluster de ODH de Big Data Service.

Para exportar la configuración del servicio ODH de Big Data Service, utilice la consola de OCI. La configuración exportada incluye información sobre las configuraciones del cluster.

Para importar la configuración del servicio ODH de Big Data Service a un cluster de destino, utilice la consola. La importación actualiza las configuraciones de todos los servicios que están presentes en el archivo zip creado por la operación de exportación.

Nota

El proceso de exportación/importación no incluye datos ni metadatos asociados a los trabajos. Si es necesario, debe migrar datos al cluster de destino por separado.

Para ejecutar una secuencia de comandos de inicialización de datos, consulte Running the Bootstrap Script.

Para obtener más información sobre las funciones auxiliares de exportación e importación, consulte:

Clonación de funciones auxiliares de inicialización de datos de configuraciones de cluster

Para obtener más información sobre la clonación de la secuencia de comandos de inicialización de datos de configuraciones de cluster, consulte Cloning Cluster Configurations.

Para ver ejemplos de funciones auxiliares de importación y exportación de clones de clonación, consulte Ejemplos de configuración de clústeres de exportación/importación

Para ejecutar una secuencia de comandos de inicialización de datos, consulte Running the Bootstrap Script.

Categoría Función Helper Funcionalidad
Clusters de configuración exportClusterConfs(output_path, service_list=[] spcl_service_config_dict={}) Esta función auxiliar crea un archivo comprimido que contiene las configuraciones de todos los servicios en formato JSON.

Nota:

  • output_path: ruta de acceso donde se encuentra el archivo zip.
  • service_list: lista opcional de servicios para realizar operaciones de exportación. Si service_list está vacío, extrae todos los servicios instalados presentes en el cluster.
  • spcl_service_config_dict: diccionario opcional que contiene una asignación de servicios y una lista de configuraciones para copiar tal cual desde el cluster de origen. El valor por defecto es null.

Cuando el trabajo se realiza correctamente. Recopila todas las configuraciones de los servicios en el entorno ODH de Big Data Service y las guarda en un archivo JSON y crea un zip de todos estos archivos en output_path.
importClusterConfs(zip_file_path, override_group=False) Esta función auxiliar extrae el archivo JSON del archivo zip y utiliza el archivo JSON para volver a crear las configuraciones de los servicios en el cluster de destino.

Nota:

  • zip_file_path: ruta al archivo zip creado por la función de exportación en el cluster de origen. El archivo zip exportado se coloca en la ruta local del cluster de destino o en la ubicación del almacén de objetos.
  • override_group: el valor por defecto es False. Si hay algún grupo existente en el cluster de destino con un nombre similar al cluster de origen, este indicador se utiliza para sustituirlo o no.

Ejemplos de configuración de clusters de exportación/importación

Para obtener más información sobre las funciones auxiliares exportClusterConfs y importClusterConfs, consulte Clonación de funciones auxiliares de arranque de configuraciones de cluster.

Ejemplo: secuencia de comandos de inicialización de datos de ejemplo para la creación del zip de exportación con valores por defecto
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions, mention output location as "/tmp"
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp")
Ejemplo: secuencia de comandos de inicialización de datos de ejemplo para la creación del zip de exportación con una lista de servicios personalizada
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          print("working hurrah")
          #Run export operation for mentioned list of services.
          service = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service)
Ejemplo: secuencia de comandos de inicialización de datos de ejemplo para la creación de zip de exportación con diccionario personalizado que contiene una asignación de servicios y una lista de configuraciones para copiar tal cual desde el cluster de origen
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          service_list = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          spcl_service_config_dict={"HIVE":["javax.jdo.option.ConnectionURL"], "HDFS":["fs.defaultFS","ranger.plugin.hdfs.policy.rest.url"]}
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service_list,spcl_service_config_dict)
Ejemplo: secuencia de comandos de inicialización de datos de ejemplo para el trabajo de importación de cluster
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          
          def execute(updateConfigHelper):
          # existing utility functions
          cluster_name = updateConfigHelper.importClusterConfs('/tmp/daily-cluster-ha6_configs_1683618209.zip')
          # Exported zip can be present in object store and you can provide object store path in zip_file_path location
          cluster_name = updateConfigHelper.importClusterConfs('https://objectstorage.us-ashburn-1.oraclecloud.com/.../cluster_configs_1683606387.zip')