Sobre as Vantagens de Implantação do Hadoop no Oracle Cloud Infrastructure

Se você tiver uma implantação local do Hadoop, poderá considerar a migração ou a extensão com a nuvem. Você está buscando abordagens que podem aproveitar a natureza dinâmica da nuvem para aumentar a agilidade de sua empresa e aumentar seu preço versus eficiência no desempenho. Ao mover para a nuvem, você pode aproveitar a elasticidade para pagar apenas os recursos que você usa, ganhar interoperabilidade com padrões e software de código-fonte aberto e melhorar o desempenho do armazenamento com seus dados sempre em execução no hardware mais recente e mais rápido. Esta solução apresenta a abordagem recomendada pela Oracle para implantar o Hadoop no Oracle Cloud Infrastructure, descrevendo as principais preocupações de implementação, requisitos técnicos e desafios de negócios existentes que precisam ser tratados como parte de uma migração ou extensão. Além disso, ele resume os serviços de nuvem de suporte, integrações de terceiros e práticas de implantação que podem melhor se alinhar com o ambiente e requisitos do seu aplicativo. Ele oferece arquiteturas de referência em vários casos de uso que foram validados pelas implantações anteriores com sucesso e fornece modelos para implantar o Hadoop usando Cloudera, Hortonworks, MapR e Apache.

Proposta de Valor

A maioria das implantações locais do Hadoop pode ser migrada para execução no Oracle Cloud Infrastructure sem exigir alterações significativas de configuração, integração ou processos. A implementação resultante será mais flexível e mais confiável, executar melhor e custo menor que o local ou outras implantações em nuvem.

Os benefícios do Hadoop desde a natureza dinâmica do IaaS na nuvem, aperfeiçoados por camadas de dados (aproveitando várias camadas de armazenamento na nuvem). Isso fornece uma solução mais robusta e econômica que permite aos clientes ajustar seus requisitos de computação para atender às demandas da carga de trabalho com densidade de armazenamento flexível para HDFS.

O Oracle tem uma solução validada para realizar essas metas, de maneira rápida e confiável. Esta solução inclui procedimentos, suporte a serviços de plataforma Oracle Cloud Infrastructure e arquiteturas de referência. Isso considera as necessidades de produção real, como segurança, configuração de rede, alta disponibilidade (HA), recuperação de desastres (DR), integração de identidade e gerenciamento de custos.

A solução da Oracle oferece:

• 37% de custo total inferior de propriedade (TCO) que em implantações locais e 68% inferior de TCO que as soluções de nuvem concorrentes
• Gerenciamento e redução de CAPEX, garantindo que os data centers mantidos sejam eficientes, eliminando o hardware do servidor e tirando proveito da flexibilidade na nuvem, quando possível
• Atualização e aplicação de patches da tecnologia no local rápida
• Monitoramento proativo de uso e custos
• Dimensionamento quase retido para cima ou para baixo para tratar o crescimento de negócios ou as separações de carga de trabalho
• Gerenciamento de identidades federadas com seus sistemas existentes
• Implantação rápida que utiliza modelos Terraform para implantar um cluster Hadoop em minutos em vez de dias
• O desempenho Extrema da memória não volátil express (NVMe)-backed Hadoop Distributed File System (HDFS)

Análise de Custo Total de Propriedade

Além dos benefícios de ser direto para migrar, mais fácil de gerenciar e mais flexível para escalar, executar o Hadoop no Oracle Cloud Infrastructure é mais barato do que executá-lo no local ou em outro sistema de nuvem.

O custo total estimado de propriedade dessa solução pode ser 37% menor do que executar Hadoop local e 68% menor do que a execução em outra nuvem, com base em:

• Presumindo dois ambientes: um para produção e outro combinado para desenvolvimento e teste
• Vantagens significantes de custos da Oraclepara Volumes em Blocos e armazenamento de Banco de Dados
• Supondo que 21 nós para Hadoop, 3 para serviços Hadoop, 2 para o gerenciador Cloudera ativo/backup, 3 para acesso perigoso, 500 TB de armazenamento de objetos e 7.25 TB para volumes em blocos
• Comparado a dois em ambientes locais com 58 servidores com 8 a 52 núcleos, 64 a 768 GB de memória, 2.2 PB de armazenamento NAS e 500 GB de backups
• Comparado a recursos disponíveis semelhantes das nuvens nãoOracle da concorrência

Infraestrutura e Ferramentas Exclusivas

O Oracle oferece infraestrutura e ferramentas ideais para hospedar o Hadoop.

As configurações densas bare metal oferecem o melhor desempenho para cargas de trabalho Hadoop, com densidade de alta memória e blazendo armazenamento de NVMe local rápido para HDFS. Os volumes em blocos podem ser usados para aumentar o armazenamento local, de modo que você possa atingir seus alvos de armazenamento HDFS sem expansão no número de nós worker. Um dos maiores problemas para várias implantações do Hadoop é que os requisitos de armazenamento geralmente são muito mais rápidos do que os requisitos de carga de trabalho e a natureza estática das implantações de hardware físico pode levar a recursos de computação ociosos. Além disso, as instâncias bare metal têm interfaces de rede dual 25-Gbps, que conduzem a comunicação de alta velocidade, baixa latência e intracluster. Combine todas isso com implantações de alta disponibilidade nos domínios de falha e você tem uma solução de Hadoop robusta, escalável e baseada em nuvem.

Histórias de Sucesso de Clientes Comprovados

Um cliente do setor de serviços financeiros escolheu o Oracle Cloud Infrastructure para migrar seu cluster Hadoop local. Sua implantação serve como um exemplo real útil de uma implantação do Hadoop baseada em Oracle Cloud Infrastructure e as vantagens que ela fornece aos clientes.

Essa migração incluída movendo todos os dados de produção, feeds de dados e infraestrutura de aplicativos adicionais. O ambiente Hadoop inclui hosts bare metal DenseIO Intel, que utilizam o NVMe local para Hadoop. O cliente foi capaz de “tamanho correto” do seu ambiente após o dimensionamento inicial de uma taxa de servidor 1: 1. Eles então conseguiram reduzir o footprint para atingir um destino de memória específico (para o HBase e o Spark) porque a implantação do Oracle Cloud Infrastructure teve três vezes a memória de sua implantação local com a mesma contagem de nós.

Mover para o Oracle Cloud Infrastructure permite que o cliente atinja os seguintes objetivos:

• Aumentar desempenho
• Reduzir custo
• Reduzir o tempo de provisionamento para os recursos, de 120 dias, para apenas algumas horas
• Melhorar a capacidade de escalonar para atender demanda em minutos, em comparação com semanas ou meses

O diagrama a seguir representa a implantação de produção do cliente no Oracle Cloud Infrastructure:

Descrição da ilustração architecture-customer-reference.png

A implantação tem a seguinte configuração:

• 21 Colaboradores bare metal do BM.DenseIO2.52 para Hadoop (1-PB raw NVMeE para HDFS)
• 3 nós mestre do VM.Standard2.24 para serviços Hadoop
• 2 nós do utilitário VM.Standard2.16 para o Active/Backup Cloudera Manager
• 3 VMs de borda VM.Standard2.8 para acesso a perímetro
• 500 TB de Armazenamento de Objetos para dados frios
• 7.25 TB de volumes em blocos para aumentar o SO para logs, parcelas e dados do aplicativo

Soluções Validadas que Atendem aos Seus Requisitos de Negócios

Cloudera, Hortonworks e MapR são validados, os fornecedores de software independentes Hadoop (ISVs) suportados no Oracle Cloud Infrastructure. Os detalhes de cada um desses produtos estão incluídos nesta solução.

Como o Oracle Cloud Infrastructure foi criado para os padrões de uso de aplicativos de produção empresariais, as implantações do Hadoop existentes podem ser facilmente movidas para e até mesmo melhoradas em Oracle Cloud Infrastructure. O Oracle fornece padrões de arquitetura que atendem a todos os seus requisitos de rede, conectividade, desempenho, HA, DR e várias regiões. Na verdade, a maioria dos clientes descobrem que o desempenho do Hadoop no Oracle Cloud Infrastructure excede o desempenho de suas implantações locais.

O Oracle também desenvolveu modelos Terraform para implantação e configuração rápida do Hadoop no Oracle Cloud Infrastructure. Esses modelos reduzem a complexidade e o tempo para provisionar o Hadoop no Oracle Cloud Infrastructure, resultando em frameworks que os clientes podem personalizar e utilizar para agilizar migrações ou implantações do Hadoop.