Documentazione di Oracle Cloud Infrastructure

Duplicazione delle configurazioni cluster

Esistono funzioni di applicazione di supporto bootstrap basate sulla configurazione cluster per importare ed esportare le configurazioni cluster in Big Data Service.

Il supporto dell'esportazione e dell'importazione per le configurazioni del servizio ODH di Big Data Service nei cluster di origine e di destinazione fornisce un modo conveniente per spostare l'ambiente ODH di Big Data Service tra i cluster per vari motivi, risparmiando tempo e fatica.

L'esportazione e l'importazione delle configurazioni del servizio ODH di Big Data Service è utile in diversi scenari;

Disaster recovery
Per eseguire il recupero da un cluster ODH del servizio Big Data primario non riuscito, utilizzare la funzione di supporto per l'importazione per creare rapidamente un nuovo cluster e importare la configurazione dei servizi.
Test e sviluppo
Per creare un ambiente di test o sviluppo, utilizzare la funzione di supporto per l'esportazione per creare un backup della configurazione del cluster ODH di Big Data Service.

Per esportare la configurazione del servizio ODH di Big Data Service, utilizzare OCI Console. La configurazione esportata include informazioni sulle configurazioni del cluster.

Per importare la configurazione del servizio ODH di Big Data Service in un cluster di destinazione, utilizzare la console. L'importazione aggiorna le configurazioni di tutti i servizi presenti nel file zip creato dall'operazione di esportazione.

Nota

Il processo di esportazione/importazione non include dati o metadati associati ai job. Se necessario, è necessario eseguire la migrazione separata dei dati nel cluster di destinazione.

Per eseguire uno script di bootstrap, vedere Esecuzione dello script di bootstrap.

Per ulteriori informazioni sulle funzioni di supporto per l'esportazione e l'importazione, vedere gli argomenti riportati di seguito.

Duplicazione delle funzioni di supporto del bootstrap per le configurazioni cluster

Per ulteriori informazioni sulla duplicazione dello script bootstrap delle configurazioni cluster, vedere Clonazione delle configurazioni cluster.

Per esempi di funzioni di supporto per l'importazione e l'esportazione del cluster, vedere Esempi di configurazione del cluster di esportazione/importazione

Per eseguire uno script di bootstrap, vedere Esecuzione dello script di bootstrap.

Categoria Funzione helper Funzionalità
Cluster di configurazione exportClusterConfs(output_path, service_list=[] spcl_service_config_dict={}) Questa funzione di supporto crea un file compresso che contiene le configurazioni di tutti i servizi in formato JSON.

Nota:

  • output_path: il percorso in cui si trova il file zip.
  • service_list: una lista facoltativa di servizi per eseguire operazioni di esportazione. Se service_list è vuoto, estrae tutti i servizi installati presenti nel cluster.
  • spcl_service_config_dict: un dizionario facoltativo che contiene un mapping di servizi e una lista di configurazioni da copiare così com'è dal cluster di origine. Il valore predefinito è null.

Quando il lavoro ha successo. Raccoglie tutte le configurazioni per i servizi nell'ambiente ODH di Big Data Service e li salva in un file JSON e crea un file zip di tutti questi file in output_path.
importClusterConfs(zip_file_path, override_group=False) Questa funzione di supporto estrae il file JSON dal file zip e utilizza il file JSON per ricreare le configurazioni per i servizi nel cluster di destinazione.

Nota:

  • zip_file_path: il percorso del file zip creato dalla funzione di esportazione nel cluster di origine. Il file zip esportato viene posizionato nel percorso locale del cluster di destinazione o nella posizione dell'area di memorizzazione degli oggetti.
  • override_group: il valore predefinito è False. Se nel cluster di destinazione esiste un gruppo con nome simile a quello del cluster di origine, questo flag viene utilizzato per sostituirlo o meno.

Esempi di configurazione cluster di esportazione/importazione

Per ulteriori informazioni sulle funzioni di supporto exportClusterConfs e importClusterConfs, vedere Duplicazione delle funzioni di supporto del bootstrap delle configurazioni cluster.

Esempio di script bootstrap di esempio per la creazione del file zip di esportazione con valori predefiniti
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions, mention output location as "/tmp"
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp")
Esempio: script bootstrap di esempio per la creazione del file zip di esportazione con una lista personalizzata di servizi
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          print("working hurrah")
          #Run export operation for mentioned list of services.
          service = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service)
Esempio: script bootstrap di esempio per la creazione del file zip di esportazione con un dizionario personalizzato che contiene un mapping di servizi e una lista di configurazioni da copiare così com'è dal cluster di origine
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          def execute(updateConfigHelper):
          # existing utility functions
          service_list = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
          spcl_service_config_dict={"HIVE":["javax.jdo.option.ConnectionURL"], "HDFS":["fs.defaultFS","ranger.plugin.hdfs.policy.rest.url"]}
          cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service_list,spcl_service_config_dict)
Esempio di script bootstrap di esempio per il job di importazione cluster
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
          
          
          def execute(updateConfigHelper):
          # existing utility functions
          cluster_name = updateConfigHelper.importClusterConfs('/tmp/daily-cluster-ha6_configs_1683618209.zip')
          # Exported zip can be present in object store and you can provide object store path in zip_file_path location
          cluster_name = updateConfigHelper.importClusterConfs('https://objectstorage.us-ashburn-1.oraclecloud.com/.../cluster_configs_1683606387.zip')