Documentation Oracle Cloud Infrastructure

Configurations de cluster de clonage

Des fonctions d'aide au démarrage basées sur la configuration de cluster de clonage existent pour importer et exporter des configurations de cluster dans Big Data Service.

La prise en charge de l'export et de l'import pour les configurations de service ODH Big Data Service sur les clusters source et cible est un moyen pratique de déplacer l'environnement ODH Big Data Service d'un cluster à l'autre pour diverses raisons, ce qui permet d'économiser du temps et des efforts.

L'export et l'import de configurations de service ODH Big Data Service sont utiles dans plusieurs scénarios ;

Récupération après sinistre
Pour effectuer une récupération à partir d'un cluster ODH Big Data Service principal en échec, utilisez la fonction d'aide d'import pour créer rapidement un cluster et importer la configuration de vos services.
Test et développement
Pour créer un environnement de test ou de développement, utilisez la fonction d'aide d'export pour créer une sauvegarde de la configuration de cluster ODH Big Data Service.

Pour exporter la configuration du service ODH Big Data Service, utilisez la console OCI. La configuration exportée inclut des informations sur vos configurations de cluster.

Pour importer la configuration du service ODH Big Data Service vers un cluster cible, utilisez la console. L'import met à jour les configurations de tous les services présents dans le fichier zip créé par l'opération d'export.

Remarque

Le processus d'export/import n'inclut aucune donnée ou métadonnées associée à vos travaux. Si nécessaire, vous devez migrer séparément les données vers le cluster cible.

Pour exécuter un script de démarrage, reportez-vous à la section Running the Bootstrap Script.

Pour plus d'informations sur les fonctions d'aide à l'export et à l'import, voir :

Cloner des fonctions d'aide Bootstrap de configurations de cluster

Pour plus d'informations sur le clonage du script de démarrage des configurations de cluster, reportez-vous à la section Cloning Cluster Configurations.

Pour obtenir des exemples de fonctions helper d'import et d'export de cluster de clonage, reportez-vous à Exemples de configuration de cluster d'export/import.

Pour exécuter un script de démarrage, reportez-vous à la section Running the Bootstrap Script.

catégorie Fonction d'aide Fonctionnalité :
Clusters de configuration exportClusterConfs(output_path, service_list=[] spcl_service_config_dict={}) Cette fonction d'aide crée un fichier compressé qui contient les configurations de tous les services au format JSON.

Remarque :

  • output_path : chemin d'accès au fichier ZIP.
  • service_list : liste facultative des services permettant d'effectuer des opérations d'export. Si service_list est vide, il extrait tous les services installés présents dans le cluster.
  • spcl_service_config_dict : dictionnaire facultatif contenant une correspondance de services et une liste de configurations à copier telles quelles à partir du cluster source. La valeur par défaut est null.

Lorsque le travail réussit. Il collecte toutes les configurations des services dans l'environnement ODH Big Data Service, les enregistre dans un fichier JSON et crée un fichier ZIP de tous ces fichiers dans output_path.
importClusterConfs(zip_file_path, override_group=False) Cette fonction d'aide extrait le fichier JSON du fichier ZIP et utilise le fichier JSON pour recréer les configurations des services dans le cluster cible.

Remarque :

  • zip_file_path : chemin du fichier ZIP créé par la fonction d'export sur le cluster source. Le fichier ZIP exporté est placé dans le chemin local du cluster cible ou à l'emplacement de la banque d'objets.
  • override_group : la valeur par défaut est False. S'il existe un groupe dans le cluster cible portant le même nom que le cluster source, cet indicateur est utilisé pour le remplacer ou non.

Exemples de configuration de cluster d'export/import

Pour plus d'informations sur les fonctions de l'assistant exportClusterConfs et importClusterConfs, reportez-vous à la section Cloning Cluster Configurations Bootstrap Helper Functions.

Exemple : exemple de script Bootstrap pour la création d'un fichier ZIP d'export avec des valeurs par défaut
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions, mention output location as "/tmp"
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp")
Exemple : exemple de script Bootstrap pour la création d'un fichier ZIP d'export avec une liste personnalisée de services
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          print("working hurrah")
          #Run export operation for mentioned list of services.
          service = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service)
Exemple : exemple de script Bootstrap pour la création d'un fichier ZIP d'export avec un dictionnaire personnalisé qui contient un mappage des services et une liste des configurations à copier telles quelles à partir du cluster source
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          service_list = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          spcl_service_config_dict={"HIVE":["javax.jdo.option.ConnectionURL"], "HDFS":["fs.defaultFS","ranger.plugin.hdfs.policy.rest.url"]}
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service_list,spcl_service_config_dict)
Exemple : exemple de script Bootstrap pour le travail d'import de cluster
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          
          def execute(updateConfigHelper):
          # existing utility functions
          cluster_name = updateConfigHelper.importClusterConfs('/tmp/daily-cluster-ha6_configs_1683618209.zip')
          # Exported zip can be present in object store and you can provide object store path in zip_file_path location
          cluster_name = updateConfigHelper.importClusterConfs('https://objectstorage.us-ashburn-1.oraclecloud.com/.../cluster_configs_1683606387.zip')