Clusterkonfigurationen klonen
Clusterkonfigurationsbasierte Bootstrap-Helper-Funktionen sind zum Importieren und Exportieren von Clusterkonfigurationen in Big Data Service vorhanden.
Die Export- und Importunterstützung für ODH-Servicekonfigurationen von Big Data Service über Quell- und Zielcluster hinweg bietet eine praktische Möglichkeit, die ODH-Umgebung von Big Data Service aus verschiedenen Gründen zwischen Clustern zu verschieben und so Zeit und Aufwand zu sparen.
Das Exportieren und Importieren von ODH-Servicekonfigurationen für Big Data Service ist in mehreren Szenarios hilfreich.
- Disaster Recovery
- Um ein Recovery nach einem nicht erfolgreichen primären ODH-Cluster von Big Data Service durchzuführen, erstellen Sie mit der Import-Helper-Funktion schnell ein neues Cluster, und importieren Sie die Konfiguration Ihrer Services.
- Tests und Entwicklung
- Um eine Test- oder Entwicklungsumgebung zu erstellen, erstellen Sie mit der Export-Helper-Funktion ein Backup der ODH-Clusterkonfiguration von Big Data Service.
Um die Konfiguration des ODH-Service für Big Data Service zu exportieren, verwenden Sie die OCI-Konsole. Die exportierte Konfiguration enthält Informationen zu Ihren Clusterkonfigurationen.
Um die ODH-Servicekonfiguration von Big Data Service in ein Zielcluster zu importieren, verwenden Sie die Konsole. Der Import aktualisiert die Konfigurationen aller Services, die in der durch den Exportvorgang erstellten ZIP-Datei vorhanden sind.
Der Export-/Importprozess enthält keine Daten oder Metadaten, die mit Ihren Jobs verknüpft sind. Sie müssen Daten bei Bedarf separat in das Zielcluster migrieren.
Informationen zum Ausführen eines Bootstrap-Skripts finden Sie unter Running the Bootstrap Script.
Weitere Informationen zu den Export- und Import-Helper-Funktionen finden Sie hier:
Bootstrap-Helper-Funktionen für Clusterkonfigurationen klonen
Weitere Informationen zum Klonen des Bootstrap-Skripts für Clusterkonfigurationen finden Sie unter Clusterkonfigurationen klonen.
Beispiele für Clusterimport- und -export-Helper-Funktionen zum Klonen finden Sie unter Beispiele für Clusterkonfiguration exportieren/importieren
Informationen zum Ausführen eines Bootstrap-Skripts finden Sie unter Running the Bootstrap Script.
| Kategorie | Helper-Funktion | Funktionalität |
|---|---|---|
| Cluster konfigurieren | exportClusterConfs(output_path, service_list=[] spcl_service_config_dict={}) |
Diese Helper-Funktion erstellt eine ZIP-Datei mit den Konfigurationen aller Services im JSON-Format. Hinweis:
Wenn der Job erfolgreich ist. Es erfasst alle Konfigurationen für die Services in der ODH-Umgebung von Big Data Service und speichert sie in einer JSON-Datei. Außerdem wird eine ZIP-Datei aller dieser Dateien in |
importClusterConfs(zip_file_path, override_group=False) |
Diese Helper-Funktion extrahiert die JSON-Datei aus der ZIP-Datei und verwendet die JSON-Datei, um die Konfigurationen für die Services im Zielcluster neu zu erstellen. Hinweis:
|
Beispiele für die Clusterkonfiguration exportieren/importieren
Weitere Informationen zu den Helper-Funktionen exportClusterConfs und importClusterConfs finden Sie unter Bootstrap-Helper-Funktionen für Cloning-Clusterkonfigurationen.
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions, mention output location as "/tmp"
cluster_name = updateConfigHelper.exportClusterConfs("/tmp")sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
print("working hurrah")
#Run export operation for mentioned list of services.
service = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service)sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
service_list = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
spcl_service_config_dict={"HIVE":["javax.jdo.option.ConnectionURL"], "HDFS":["fs.defaultFS","ranger.plugin.hdfs.policy.rest.url"]}
cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service_list,spcl_service_config_dict)sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
cluster_name = updateConfigHelper.importClusterConfs('/tmp/daily-cluster-ha6_configs_1683618209.zip')
# Exported zip can be present in object store and you can provide object store path in zip_file_path location
cluster_name = updateConfigHelper.importClusterConfs('https://objectstorage.us-ashburn-1.oraclecloud.com/.../cluster_configs_1683606387.zip')