Clonando Configurações de Cluster
Existem funções auxiliares de bootstrap baseadas na configuração de cluster para importar e exportar configurações de cluster no Big Data Service.
O suporte de exportação e importação para configurações de serviço ODH do Big Data Service em clusters de origem e destino fornece uma maneira conveniente de mover o ambiente ODH do Big Data Service entre clusters por vários motivos, economizando tempo e esforço.
Exportar e importar configurações de serviço ODH do Big Data Service é útil em vários cenários;
- Recuperação de desastre
- Para se recuperar de um cluster ODH do Big Data Service principal com falha, use a função auxiliar de importação para criar rapidamente um novo cluster e importar a configuração de seus serviços.
- Teste e desenvolvimento
- Para criar um ambiente de teste ou desenvolvimento, use a função auxiliar de exportação para criar um backup da configuração do cluster do ODH do Big Data Service.
Para exportar a configuração do serviço ODH do Big Data Service, use a Console do OCI. A configuração exportada inclui informações sobre suas configurações de cluster.
Para importar a configuração do serviço ODH do Big Data Service para um cluster de destino, use a Console. A importação atualiza as configurações de todos os serviços que estão presentes no arquivo zip criado pela operação de exportação.
O processo de exportação/importação não inclui dados ou metadados associados aos seus jobs. Migre dados separadamente para o cluster de destino, se necessário.
Para executar um script de inicialização, consulte Running the Bootstrap Script.
Para obter mais informações sobre as funções auxiliares de exportação e importação, consulte:
Clonando Funções do Auxiliar de Inicialização de Configurações de Cluster
Para obter mais informações sobre como clonar script de bootstrap de configurações de cluster, consulte Clonando Configurações de Cluster.
Para exemplos de função auxiliar de importação e exportação de Cluster de Clonagem, consulte Exemplos de Configuração de Cluster de Exportação/Importação
Para executar um script de inicialização, consulte Running the Bootstrap Script.
| Categoria | Função Auxiliar | Funcionalidade |
|---|---|---|
| Configurar Clusters | exportClusterConfs(output_path, service_list=[] spcl_service_config_dict={}) |
Essa função auxiliar cria um arquivo compactado que contém as configurações de todos os serviços no formato JSON. Observação:
Quando o trabalho for bem-sucedido. Ele reúne todas as configurações dos serviços no ambiente ODH do Big Data Service e as salva em um arquivo JSON e cria um zip de todos esses arquivos em |
importClusterConfs(zip_file_path, override_group=False) |
Essa função auxiliar extrai o arquivo JSON do arquivo zip e usa o arquivo JSON para recriar as configurações dos serviços no cluster de destino. Observação:
|
Exemplos de Configuração de Cluster de Exportação/Importação
Para obter mais informações sobre as funções auxiliares exportClusterConfs e importClusterConfs, consulte Clonando Funções do Auxiliar de Inicialização de Configurações de Cluster.
sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions, mention output location as "/tmp"
cluster_name = updateConfigHelper.exportClusterConfs("/tmp")sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
print("working hurrah")
#Run export operation for mentioned list of services.
service = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service)sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
service_list = ["HDFS","SPARK3","HIVE","YARN","MAPREDUCE2"]
spcl_service_config_dict={"HIVE":["javax.jdo.option.ConnectionURL"], "HDFS":["fs.defaultFS","ranger.plugin.hdfs.policy.rest.url"]}
cluster_name = updateConfigHelper.exportClusterConfs("/tmp",service_list,spcl_service_config_dict)sys.path.append(os.path.abspath("/home/opc/cloud/flask-microservice/"))
def execute(updateConfigHelper):
# existing utility functions
cluster_name = updateConfigHelper.importClusterConfs('/tmp/daily-cluster-ha6_configs_1683618209.zip')
# Exported zip can be present in object store and you can provide object store path in zip_file_path location
cluster_name = updateConfigHelper.importClusterConfs('https://objectstorage.us-ashburn-1.oraclecloud.com/.../cluster_configs_1683606387.zip')