Considerações para Selecionar um Padrão de Solução

Ao implementar seu data lake na nuvem, considere nossos padrões de design recomendados para migrar seu data lake atual para o Oracle Cloud.

Prepare-se para os Projetos de Migração

Ao migrar seus dados para o Oracle Cloud, você deve planejar seu projeto e equipe. Reúna informações sobre rede e armazenamento e avalie as vantagens e desvantagens antes de selecionar um padrão de solução. Crie uma descrição de alto nível para os sistemas e aplicativos no escopo da migração.

Considere nossas recomendações com base no seu ambiente, nos cronogramas e no nível de habilidade da equipe.

Planeje seu projeto e escopo. Identifique sua equipe de projeto, incluindo o gerente de projeto, o proprietário do aplicativo, engenheiros de big data, engenheiros de OCI para infraestrutura e segurança e desenvolvedores. Certifique-se de incluir desenvolvedores de aplicativos e engenheiros de desempenho e teste. Determine as datas-chave e os marcos do projeto.

Use o exemplo a seguir para criar uma descrição de alto nível dos sistemas e aplicativos.

Componente Descrição
Big Data Appliance (BDA)

Executando o appliance BDA com distribuição CDH

24 nós BDA (6x Dev, 6x DR, 12x Prod)

  • 2x 22-Core Xeon
  • 2x40 IB, 4x10 Ethernet
  • Disco de 96 TB e 256 GB de RAM
Uso
  • HDFS de 300TB (ingestinging 500 GB/dia)
  • CPU de 30 por cento
  • 1 TB de RAM
  • 24x7 On-line
Ambientes

Produção, Desenvolvimento, Recuperação de Desastres

Componentes da solução
  • Hive
  • HBase
  • HDFS
  • Spark (Scala)
  • Kerberos e Active Directory
  • Sqoop
  • Oozie
  • Análise Avançada: OBIEE
  • Drivers JDBC para conexão com fontes externas

Considerações sobre Rede e Armazenamento

Ao planejar a migração do data lake, obtenha informações sobre todos os ativos de rede e armazenamento e determine o método mais adequado para migrar seus dados para o OCI.

A tabela a seguir fornece uma orientação geral de alto nível das opções de migração de dados para o OCI.

Origem da Migração Volumes de Dados < 1 TB Volumes de dados entre 1 e 50 TB Volumes de Dados > 50 TB
Clusters Hadoop autogerenciados do Big Data Appliance (BDA) ou no local

Tuneis VPN de hardware

(se o FastConnect não estiver disponível)

FastConnect (preferido)

Os túneis de VPN de hardware podem ser usados se a largura de banda > 100 Mbps
Data Transfer Appliance
Big Data Cloud Service (BDCS) Túneis VPN de Software

Selecione uma dessas opções com base em seus requisitos organizacionais e restrições. O tempo necessário para a transferência de dados dependerá do método de migração escolhido.

  • Para transferência off-line com um único Data Transfer Appliance, você pode transferir até 150 TB de dados por vez e vários appliances para cada job de transferência de dados. Incluindo o tempo de envio, a migração levará alguns dias para ser concluída.
  • Para transferência de dados on-line pela internet usando túneis VPN ou FastConnect, você pode usar essa fórmula para obter um tempo aproximado necessário:

    Number of days = (Total Bytes)/(Megabits per second * 125 * 1000 * Network Utilization * 60 seconds * 60 minutes * 24 hours)

    Usando esta fórmula para transferir até 50 TB de dados com uma conexão FastConnect de 1 Gbps com 100% de utilização da rede, a transferência de dados será concluída em 6 dias. Você pode usar o FastConnect para volumes inferiores também, se tiver configurado. Com o FastConnect de 10 Gbps, a hora será 1/10o.

  • Para túneis VPN a transferir 1 TB com 10 Mbps de conectividade e 80 por cento de utilização da rede, a transferência de dados levará cerca de 13 dias. Como alternativa, use o Data Transfer Appliance se a conectividade da sua rede for menor ou não for muito confiável.

A tabela a seguir apresenta uma estimativa do tempo aproximado de upload de dados para o OCI, com base na largura de banda da conexão e no tamanho do seu conjunto de dados.

Tamanho do Conjunto de Dados 10 Mbps 100 Mbps 1 Gbps 10 Gbps Serviço de Transferência de Dados
10 TB 92 dias 9 dias 22 horas 2 horas 1 semana
100 TB 1,018 dias 101 dias 10 dias 24 horas 1 semana
500 TB 5,092 dias 509 dias 50 dias 5 dias 1 semana
1 PB 10,185 dias 1,018 dias 101 dias 10 dias 2 semanas

Projete sua Arquitetura de Solução

Ao planejar seu padrão de solução, considere as vantagens e desvantagens na tabela a seguir antes de tomar sua decisão.

Padrão da solução Vantagens Desvantagens
Nativo da nuvem (Greenfield)
  • Você pode fazer a transição para uma pilha moderna e preparada para o futuro
  • Menos operações em andamento e sobrecarga de gerenciamento
  • ROI (Retorno sobre investimento) e opção de custo mais baixo para a maioria dos clientes
  • Pode haver algumas lacunas na funcionalidade que exigem sua própria implementação de determinados componentes
  • Mais trabalho necessário para implementação do que alguns dos outros padrões
Big Data Service (Greenfield)
  • Você se beneficia de uma sobrecarga operacional e de menor custo usando dados gerenciados e serviços de IA
  • Funciona como uma solução de longo prazo e de curto prazo à medida que você faz a transição para o Oracle Cloud
  • Mais trabalho necessário para implementação do que alguns dos outros padrões
Recriar (Migração)
  • Você pode fazer a transição para uma pilha moderna e preparada para o futuro
  • Menos operações em andamento e sobrecarga de gerenciamento
  • Opção de ROI máximo e menor custo para a maioria dos clientes
  • Pode haver algumas lacunas na funcionalidade que podem exigir sua própria implementação de alguns componentes
  • Mais trabalho necessário para implementação do que alguns dos outros padrões
Plataforma de substituição (migração)
  • Você se beneficia de uma sobrecarga operacional e de menor custo usando dados gerenciados e serviços de IA
  • Funciona como uma solução de longo prazo e de curto prazo à medida que você faz a transição para o Oracle Cloud
  • Mais trabalho necessário para implementação do que alguns dos outros padrões
Rehost (Migração)
  • Interrupção mínima na funcionalidade
  • Nada novo para aprender com um ponto de vista de uso
  • Sua responsabilidade aumenta em operações e suporte
  • O licenciamento existente não pode ser válido

Critérios de Revisão para Seleção de Padrão de Solução

Considere esses critérios ao tomar uma decisão sobre o padrão mais adequado a ser usado para sua organização. Considere critérios como grau relativo de modernização, retorno ao investimento (ROI) e economia de custo total de propriedade (TCO), facilidade e duração da implementação, custos contínuos, eficiência operacional, elasticidade, escalabilidade, disponibilidade e alterações relativas ao código existente.

A tabela a seguir lista alguns critérios de alto nível para ajudá-lo a decidir quais padrões atendem às necessidades da sua organização.

Padrão da solução Grau Relativo de Modernização Potencial Relativo para Economia de ROI e TCO Facilidade Relativa e Duração da Implementação Economia contínua relativa de custos, eficiência operacional Elasticidade, Escalabilidade e Disponibilidade Relativas Alterações Relativas a Código e Workflows Existentes
Nativo da nuvem (Greenfield) Alto (melhor) Alto (melhor) Médio (Melhor) Alto (melhor) Alto (melhor) ND
Big Data Service (Greenfield) Médio (Melhor) Médio (Melhor) Médio (Melhor) Médio (Melhor) Médio (Melhor) ND
Recriar (Migração) Alto (melhor) Alto (melhor) Baixo (Bom) Alto (melhor) Alto (melhor) Alto (Bom)
Plataforma de substituição (migração) Médio (Melhor) Médio (Melhor) Médio (Melhor) Médio (Melhor) Médio (Melhor) Médio (Melhor)
Rehost (Migração) Baixo (Bom) Baixo (Bom) Alto (melhor) Baixo (Bom) Baixo (Bom) Baixo (Melhor)

Dependendo dos requisitos de ambiente, cronograma e habilidades da equipe, a Oracle recomenda o uso do padrão que melhor atenda às suas necessidades.

Considere esses pontos ao decidir a solução mais adequada para sua organização.

  • Muitos clientes usam mais de um padrão em sua jornada de adoção da nuvem.
  • A classificação real depende do contexto específico do cliente e dos casos de uso.
  • Não há um padrão único que atenda às necessidades de nossos clientes.
  • Os critérios adicionais incluem preferências do cliente, experiência e requisitos exclusivos.