Informazioni sui vantaggi della distribuzione di Hadoop su Oracle Cloud Infrastructure

Se si dispone di una distribuzione Hadoop in locale, si potrebbe considerare la migrazione o l'estensione della distribuzione nel cloud. Si stanno cercando approcci che possono sfruttare la natura dinamica del cloud per migliorare l'agilità della propria azienda e aumentare il prezzo e l'efficienza delle prestazioni. Spostando nel cloud, puoi usufruire dell'elasticità per pagare solo le risorse utilizzate, usufruire dell'interoperabilità con gli standard e il software open source e migliorare le prestazioni di storage con i dati sempre in esecuzione sull'hardware più recente e più veloce. Questa soluzione presenta l'approccio consigliato da Oracle per la distribuzione di Hadoop in Oracle Cloud Infrastructure descrivere i problemi di implementazione della chiave, i requisiti tecnici e le richieste di verifica aziendali esistenti che devono essere affrontate nell'ambito di una migrazione o di un'estensione. Inoltre, fornisce un riepilogo dei servizi cloud di supporto, delle integrazioni di terze parti e delle procedure di distribuzione che possono essere perfettamente allineate all'ambiente dell'applicazione e ai requisiti. Fornisce architetture di riferimento in diversi casi d'uso convalidati da distribuzioni precedenti e fornisce modelli per la distribuzione di Hadoop mediante Cloudera, Hortonworks, MapR e Apache.

Proposta di valore

È possibile eseguire la migrazione della maggior parte delle distribuzioni Hadoop locali in Oracle Cloud Infrastructure senza richiedere modifiche significative a livello di configurazione, integrazione o processo. L'implementazione risultante sarà più flessibile e più affidabile, offre prestazioni migliori e costi inferiori a quelli relativi a distribuzioni cloud o locali.

Vantaggi Hadoop dalla natura dinamica di IaaS nel cloud, migliorati in base ai livelli dati, sfruttando più livelli di storage cloud. Fornisce una soluzione più efficace e a costi contenuti che consente ai clienti di ottimizzare i requisiti di computazione per soddisfare le richieste del carico di lavoro con densità flessibile di storage per HDFS.

Oracle ha una soluzione convalidata per raggiungere questi obiettivi, in modo rapido e affidabile. Questa soluzione include procedure, supporto dei servizi della piattaforma Oracle Cloud Infrastructure e architetture di riferimento. Considerare le esigenze in produzione reali, ad esempio sicurezza, configurazione di rete, alta disponibilità (HA), recupero da errori irreversibili (DR), integrazione delle identità e gestione dei costi.

La soluzione Oracle offre quanto segue:

• Il 37% del costo totale di proprietà (TCO) più basso rispetto alle distribuzioni delle premesse e il 68% del TCO inferiore rispetto alle soluzioni cloud concorrenti
• Gestione e riduzione CAPEX, assicurandosi che i centri dati mantenuti siano efficienti, eliminando al contempo l'hardware del server e sfruttando al contempo la flessibilità del cloud, laddove possibile.
• Rapido aggiornamento della tecnologia in loco e applicazione di patch
• Monitoraggio proattivo di uso e costi
• Ridimensionamento diretto verso l'alto o verso il basso per gestire la crescita dell'attività o le suddivisioni del carico di lavoro
• Gestione globale delle identità con i sistemi esistenti
• Distribuzione rapida che utilizza i modelli Terraform per distribuire un cluster Hadoop in pochi minuti anziché in giorni
• Extreme Performance del sistema HDFS (Hadoop Distributed File System) non volatile di memoria express (NVMe)

Analisi costo totale proprietà

Oltre a poter eseguire la migrazione, è più facile gestire e più flessibile, l'esecuzione di Hadoop su Oracle Cloud Infrastructure è più economico rispetto all'esecuzione in locale o in un altro sistema cloud.

Il costo totale stimato di proprietà di questa soluzione può essere inferiore al 37% rispetto all'esecuzione di Hadoop in on premise e al 68% inferiore all'esecuzione in un altro cloud, in base a quanto segue:

• Presupponendo due ambienti: uno per la produzione e uno combinato per lo sviluppo e il test
• Vantaggi notevoli dei costi di Oracle per i volumi a blocchi e la memoria del database
• Presupponendo 21 nodi per Hadoop, 3 per i servizi Hadoop, 2 per il Cloudera Manager attivo/backup, 3 per l'accesso a perimiter, 500 TB di storage degli oggetti e 7.25 TB per i volumi a blocchi
• Confronto tra due ambienti on premise e 58 server con memorie centrali da 8 a 52, 64 a 768 GB di memoria, storage NAS PB e backup 500 GB
• Confronto con risorse disponibili simili da cloud nonOracle concorrenti

Infrastruttura e strumenti univoci

Oracle offre un'infrastruttura e strumenti ideali per l'hosting di Hadoop.

Le forme di dati completi Bare Metal garantiscono le migliori prestazioni per i carichi di lavoro Hadoop, con densità elevata della memoria e storage NVMe veloce per HDFS. I volumi a blocchi possono essere utilizzati per aumentare lo storage locale, in modo da poter raggiungere le destinazioni di storage HDFS senza aumentare la scala del numero dei nodi dei lavoratori. Uno dei problemi più significativi per molte distribuzioni Hadoop è la necessità di storage di soddisfare in genere requisiti più veloci rispetto ai requisiti del carico di lavoro, mentre la natura statica delle distribuzioni hardware fisiche può comportare l'inattività delle risorse di calcolo. Le istanze Bare Metal, inoltre, dispongono di interfacce di rete dual 25-Gbps, che determinano la velocità massima, la bassa latenza e la comunicazione tra cluster. Combinare tutto ciò, con distribuzioni ad alta disponibilità in tutti i domini di errore, e si dispone di una soluzione Hadoop potente, scalabile e basata sul cloud performante.

Casi di successo dei clienti collaudati

Un cliente di settore dei servizi finanziari ha scelto Oracle Cloud Infrastructure di eseguire la migrazione del proprio cluster Hadoop in locale. La distribuzione offre un esempio reale e reale di una distribuzione Hadoop basata su Oracle Cloud Infrastructure e vantaggi che offre ai clienti.

Questa migrazione include lo spostamento di tutti i dati di produzione, i feed di dati e un'infrastruttura di applicazione aggiuntiva. L'ambiente Hadoop include host Intel DenseIO Bare Metal che utilizzano NVMe locale per Hadoop. Il cliente è stato in grado di “ottenere le dimensioni corrette” del proprio ambiente dopo aver prima ridimensionato il rapporto 1: 1. Possono quindi ridurre il footprint per accedere a una destinazione di memoria specifica (per HBase e Spark) perché la distribuzione di Oracle Cloud Infrastructure aveva tre volte la memoria della distribuzione on premise con lo stesso conteggio di nodi.

Il passaggio a Oracle Cloud Infrastructure ha abilitato il cliente per il raggiungimento dei seguenti obiettivi:

• Aumenta prestazioni
• Riduzione dei costi
• Ridurre il tempo di provisioning per le risorse di 120 giorni;
• Migliorare la capacità di raggiungere la domanda in pochi minuti, rispetto a settimane o mesi

Il diagramma riportato di seguito rappresenta la distribuzione di produzione del cliente in Oracle Cloud Infrastructure.

Descrizione dell'immagine architecture-customer-reference.png

La distribuzione dispone della configurazione riportata di seguito.

• 21 Lavoratori Bare Metal BM.DenseIO2.52 per Hadoop (1-PB NVMeE per HDFS)
• 3 Nodi principali di VM.Standard2.24 per i servizi Hadoop
• 2 nodi della utility VM.Standard2.16 per Active/Backup Cloudera Manager
• 3 VM perimetrali VM.Standard2.8 per accesso perimetrale
• 500 TB di storage degli oggetti per dati a freddo
• 7.25 TB di volumi a blocchi per aumentare il sistema operativo per log, lotti e dati delle applicazioni

Soluzioni convalidate che soddisfano i requisiti aziendali

Cloudera, Hortonworks e MapR vengono convalidati, ISV (Hadoop Independent Software Vendor) supportati su Oracle Cloud Infrastructure. In questa soluzione sono inclusi i dettagli per ciascuno di questi prodotti.

Poiché Oracle Cloud Infrastructure è stato creato per i pattern d'uso delle applicazioni di produzione enterprise, le distribuzioni Hadoop esistenti possono essere spostate facilmente in Oracle Cloud Infrastructure e, anche migliorate in Oracle Cloud Infrastructure. Oracle offre pattern architetturali che soddisfano tutti i requisiti di networking, connettività, prestazioni, HA, DR e multiarea. La maggior parte dei clienti ha rilevato che le prestazioni di Hadoop su Oracle Cloud Infrastructure superano le prestazioni delle distribuzioni on premise.

Oracle ha sviluppato inoltre modelli Terraform per la rapida distribuzione e configurazione di Hadoop su Oracle Cloud Infrastructure. Questi modelli riducono le complessità e gli orari per eseguire il provisioning di Hadoop su Oracle Cloud Infrastructure, generando framework che i clienti possono personalizzare e sfruttare per ottimizzare le migrazioni e le distribuzioni Hadoop.