Criando um Cluster

Crie um cluster no Big Data Service.

Antes de criar um cluster, você deve ter os seguintes pré-requisitos:

Para criar um cluster, forneça informações sobre sua rede e faça escolhas baseadas nela. Para se preparar para essas perguntas, tenha em mãos o nome da sua rede, o compartimento dela e o nome da sub-rede regional.

Você torna um cluster seguro e altamente disponível, definindo uma opção ao criá-lo. Um cluster seguro tem a pilha de segurança completa do Hadoop, incluindo Criptografia Transparente HDFS, além do Kerberos e do Apache Sentry.

Você não pode tornar um cluster existente seguro e altamente disponível se ele não tiver sido criado com esses recursos e não pode remover esses recursos de um cluster existente.

    1. Na página da lista Clusters, selecione Criar cluster. Se precisar de ajuda para localizar a página de lista, consulte Listando Clusters em um Compartimento.
    2. No painel Criar cluster, especifique as seguintes informações:
      • Nome do cluster: Informe um nome para identificar o cluster.

      • Senha de administrador do cluster: Informe uma string a ser usada como a senha do cluster Você precisa dessa senha para acessar o Apache Ambari para executar determinadas ações no cluster por meio da Console do Oracle Cloud.

      • Confirmar senha de administrador do cluster: Digite novamente a senha.

      • Segura e altamente disponível (HA): Selecione esta marca de seleção para tornar o cluster seguro e altamente disponível. Um cluster seguro tem a pilha de segurança total do Hadoop, incluindo Criptografia Transparente HDFS, Kerberos e Sentry Apache. Esta definição não pode ser alterada durante a vida útil do cluster.

      • Nome do realm do Kerberos: Este campo é exibido quando você seleciona Segura e altamente disponível (HA). O valor padrão é BDSCLOUDSERVICE.ORACLE.COM. No entanto, você pode fornecer outro valor. Geralmente, o nome do realm é o mesmo do domínio DNS; a única diferença é que o nome do realm é em maiúsculas. Essa convenção ajuda a diferenciar problemas com o serviço Kerberos dos problemas com o namespace de DNS, mantendo ao mesmo tempo um nome familiar.

        Um nome de realm do Kerberos válido deve conter de 2 a 32 caracteres ASCII e deve ser uma combinação de letras maiúsculas, números, traços (-) e pontos (.). O nome do realm também deve começar e terminar com letras maiúsculas. Se você planeja integrar o cluster do Big Data Service a um servidor existente do Active Directory, certifique-se de que o nome do realm do Kerberos do cluster do Big Data Service seja diferente dos nomes de DNS dos domínios do Active Directory.

      • Versão do ODH/BDS: Selecione a versão do Big Data Service para iniciar um cluster. Isso permite que você teste e use versões de aplicativos que atendam aos seus requisitos de compatibilidade. Especifique o número da release com o label da release. Os labels de versão estão no formato bds-x.x.x.
      • Perfil do cluster: Selecione o perfil do cluster para o cluster (disponível somente para as versões ODH 2.0 e ODH 1.0). Para obter mais informações, consulte Tipos de Perfil de Cluster. Se você selecionar Kafka, a etapa 5 será obrigatória.
    3. Na seçãoNós do Hadoop da página, configure os tipos, formas e números das instâncias de computação (servidores) para hospedar os nós mestre e de trabalho do cluster. Para obter informações sobre as opções que você pode fazer, consulte Entendendo Tipos e Formas de Instância. Nem todas as formas estão disponíveis por padrão, embora você possa solicitar aquelas não listadas. Para obter mais informações, consulte Limites do Serviço.

      Na seção Nós principais/do Utilitário, forneça os seguintes detalhes:

      • Escolher tipo de instância: Selecione Máquina virtual ou Bare metal para indicar que tipo de instâncias de computação você deseja para os nós principais.

      • Escolher Forma do nó Mestre/Utilitário: Selecione Noções Básicas sobre Tipos e Formas de Instância para os nós mestre e utilitário. Para obter mais informações sobre formas disponíveis, consulte Limites do Serviço.

      • Tamanho do armazenamento em blocos por nó principal/do utilitário: Digite o tamanho do armazenamento em blocos, em gigabytes (GB) para cada nó principal e do utilitário.

      • Número de OCPUs: Essa opção só estará disponível se você selecionar Máquina virtual. Para obter mais informações, consulte Limites do Serviço.

      • Quantia de memória: Esta opção só estará disponível se você selecionar Máquina virtual. Informe o tamanho da memória, em gigabytes (GB) para cada nó.

    4. Na seção Nós de Trabalho, forneça os seguintes detalhes:
      • Escolher tipo de instância: Selecione Máquina virtual ou Bare metal para indicar o tipo de instâncias de computação que você deseja para os nós de trabalho.

      • Escolher forma do nó de trabalho: Selecione a forma dos nós de trabalho. Para obter mais informações sobre formas disponíveis, consulte Limites do Serviço.

      • Tamanho do armazenamento em blocos por nó de trabalho: Digite o tamanho do armazenamento em blocos, em gigabytes (GB), para cada nó de trabalho.

      • Número de OCPUs: Essa opção só estará disponível se você selecionar Máquina virtual. Para obter mais informações, consulte Limites do Serviço.

      • Quantia de memória: Esta opção só estará disponível se você selecionar Máquina virtual. Informe o tamanho da memória, em gigabytes (GB) para cada nó.

      • Número de nós de Trabalho: Digite o número de nós de trabalho para o cluster, com no mínimo 3 nós.

    5. Se você selecionou o broker do Kafka na etapa 4, forneça os seguintes detalhes na seção nós de broker do Kafka. Caso contrário, esta seção não será aplicável.
      • Escolher tipo de instância: Selecione Máquina Virtual ou Bare Metal para indicar o tipo de instâncias de computação desejado.

      • Escolher forma do nó do broker do Kafka: Selecione a forma para nós do broker do Kafka. Para obter mais informações sobre formas disponíveis, consulte Limites do Serviço.

      • Tamanho do armazenamento em blocos por nó de broker do Kafka: Digite o tamanho do armazenamento em blocos, em gigabytes (GB), para cada nó de broker do Kafka.

      • Número de OCPUs: Essa opção só estará disponível se você selecionar Máquina virtual. Para obter mais informações, consulte Limites do Serviço.

      • Quantia de memória: Esta opção só estará disponível se você selecionar Máquina virtual. Informe o tamanho da memória, em gigabytes (GB) para cada nó.

      • Número de nós de broker do Kafka: Informe o número de nós de broker do Kafka para o cluster, com um mínimo de 3 para clusters seguros e 1 para clusters não seguros.

    6. Na seção Definições de rede, forneça os detalhes da rede do cluster.
      • Rede privada do cluster: Digite um bloco CIDR para a rede privada do cluster.

        A rede privada do cluster é criada na tenancy Oracle (não na tenancy do cliente) e é usada apenas para comunicação privada entre os nós do cluster. Nenhum outro tráfego passa por essa rede, ela não pode ser acessada por hosts externos e você não pode alterá-la após sua criação. Todas as portas estão abertas nesta rede.

      • Bloco CIDR: Informe um bloco CIDR para designar a faixa de endereços IP contínuos disponíveis para esta rede privada ou aceite o padrão 10.0.0/16. Essa faixa de blocos CIDR não pode sobrepor a faixa de blocos CIDR na rede do cliente, discutido na próxima etapa.

      • rede do cliente: Digite as informações para adicionar o cluster à rede virtual na nuvem (VCN) e uma sub-rede regional nessa VCN.

        • Escolher VCN no <compartment>: Aceite o compartimento atual ou selecione Alterar Compartimento para selecionar outro. Em seguida, selecione o nome de uma VCN existente nesse compartimento a ser usado para o cluster. A VCN deve conter uma sub-rede regional.

        • Escolher sub-rede regional no <compartment>: Selecione uma sub-rede regional a ser usada para o cluster.

          Importante Se você planejar tornar público qualquer um dos endereços IP na sub-rede (para permitir o acesso a um nó da internet), selecione uma sub-rede pública para o cluster. Para obter mais informações, consulte VCNs e Sub-redes.

      • Opções de Rede: Selecione uma das seguintes:
        • Implantar gateway de serviço gerenciado pela Oracle e gateway NAT (Início rápido): Selecione essa opção para simplificar a configuração de rede, permitindo que a Oracle forneça e gerencie esses gateways de comunicação. Quando você seleciona essa opção, um gateway de serviço e um gateway NAT (Network Address Translation) são implantados para uso privado pelo cluster. Esses gateways são criados na tenancy Oracle e não podem ser alterados depois que o cluster é criado.
          • Um gateway NAT permite que nós sem endereços IP públicos iniciem conexões e recebam respostas da internet, mas não recebam conexões recebidas iniciadas da internet.
          • Um gateway de serviço permite que nós sem endereços IP públicos acessem serviços Oracle de forma privada, sem expor os dados a um gateway de internet ou a um gateway NAT.

          Siga estas diretrizes:

          • Selecione esta opção para conceder a todos os nós da rede privada do cluster acesso de saída completo à internet pública. Quando você seleciona essa opção, não é possível limitar esse acesso (por exemplo, restringindo a saída a apenas alguns intervalos de endereços IP).

            Se você selecionar essa opção, seu cluster não poderá usar gateways de serviço ou gateways NAT em sua rede de clientes.

          • Se você não selecionar essa opção, deverá criar gateways na VCN do cliente. Quando você faz isso, também pode criar regras de segurança para limitar a saída a intervalos de endereços IP especificados.

          • Se você mapear os endereços IP privados dos nós do cluster para endereços IP públicos, não será necessário um gateway NAT. Para obter mais informações, consulte Mapear um Endereço IP Privado para um Endereço IP Público.

        • Usar os gateways na VCN selecionada do cliente (customizável): Selecione essa opção para permitir que o cluster use os gateways na VCN do cliente. Você mesmo deve criar e configurar esses recursos.
          Observação

          Se você criar sua rede usando um dos wizards de criação de rede na console, os gateways serão criados para você, mas pode ser necessário configurá-los ainda mais para que atendam às suas necessidades.

    7. Na seção Criptografia, selecione um dos seguintes itens:
      • Criptografar usando chaves gerenciadas pela Oracle: Selecione esta opção para deixar todos os assuntos relacionados à criptografia para Oracle.

      • Criptografar usando chaves gerenciadas pelo cliente: Selecione essa opção se você tiver acesso e quiser usar uma chave de criptografia gerenciada pelo cliente válida. Selecione os seguintes valores:

        • Vault em <compartment>: Aceite o compartimento atual ou selecione Alterar Compartimento para selecionar outro compartimento, Em seguida, selecione o nome de um vault existente nesse compartimento.
        • Chave mestra de criptografia em <compartment>: Aceite o compartimento atual ou selecione Alterar Compartimento para selecionar outro compartimento Em seguida, selecione uma chave de criptografia mestra existente nesse compartimento.

          Para obter informações sobre como criar e gerenciar vaults, consulte Criando um Vault e Gerenciando Vaults. Para obter mais informações sobre como criar e gerenciar chaves de criptografia principais, consulte Criando uma Chave de Criptografia Principal e Gerenciando Chaves.

    8. Em Opções adicionais, forneça os seguintes detalhes:
      • chave pública SSH: Informe uma chave SSH pública de qualquer uma das seguintes maneiras:

        • Selecione Selecionar arquivo de chave pública SSH e, em seguida,

          • Selecione um arquivo de chave SSH pública na caixa e, em seguida, arraste um arquivo de chave SSH pública para a caixa,

          • ou selecione Selecione um, navegue até um arquivo de chave SSH pública e selecione-o no seu sistema de arquivos local.

        • Selecione Colar chave pública SSH e cole o conteúdo de um arquivo de chave SSH pública na caixa.

      • URL do script de inicialização: Digite um URL acessível publicamente do script de inicialização. O script é executado em todos os nós do cluster após a criação de um cluster, quando a forma de um cluster é alterada ou quando você adiciona ou remove nós de um cluster. Você pode usar esse script para instalar, configurar e gerenciar componentes personalizados em um cluster.
    9. Tags: Informe tags conforme descrito em Visão Geral do Serviço Tagging.
    10. Selecione Criar cluster.
  • Use o comando oci bds instance create e os parâmetros necessários para editar uma configuração de dimensionamento automático.

    oci bds block-storage add --bds-instance-id <bds_instance_id> --block-volume-size-in-gbs <block_volume_size_in_gbs> --cluster-admin-password <cluster_admin_password> --node-type <ode_type> [OPTIONS]

    Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando do Big Data.

  • Use a operação CreateBdsInstance para criar clusters do Big Data Service.