Vorteile der Bereitstellung von Hadoop in Oracle Cloud Infrastructure

Wenn Sie ein On-Premise-Deployment von Hadoop haben, sollten Sie davon ausgehen, dass Sie es entweder migrieren oder in der Cloud erweitern. Anhand von Ansätzen können Sie die dynamische Cloud-Natur nutzen, um die Agilität Ihres Unternehmens zu verbessern und Ihren Preis im Vergleich zur Performanceeffizienz zu steigern. Durch einen Wechsel zu der Cloud können Sie die Elastizität nutzen, um nur für die verwendeten Ressourcen zu bezahlen, Interoperabilität mit offenen Quellstandards und Software zu erhalten und Ihre Speicherperformance zu verbessern, wenn Ihre Daten immer auf der neuesten, schnellsten Hardware ausgeführt werden. Diese Lösung stellt den von Oracleempfohlenen Ansatz für das Deployment von Hadoop in Oracle Cloud Infrastructure bereit, indem die wichtigsten Implementierungsanforderungen, technischen Anforderungen und vorhandenen Geschäftsherausforderungen beschrieben werden, die im Rahmen einer Migration oder Erweiterung gelöst werden müssen. Außerdem werden die unterstützenden Cloud-Services, Drittanbieterintegrationen und Bereitstellungspraktiken zusammengefasst, die für Ihre Anwendungsumgebung und Anforderungen am besten geeignet sind. Es enthält Referenzarchitekturen über verschiedene Anwendungsfälle, die von früheren erfolgreichen Deployments validiert wurden, sowie Vorlagen für das Deployment von Hadoop mit Cloudera, Hortonworks, MapR und Apache.

Vorschlagen von Werten

Die meisten On-Premise-Deployments von Hadoop können zur Ausführung in Oracle Cloud Infrastructure migriert werden, ohne dass erhebliche Konfigurations-, Integrations- oder Prozessänderungen erforderlich sind. Die Ergebnisimplementierung ist flexibler und verlässlicher, sollte besser und kostengünstiger als bei On-Premise- oder anderen Cloud-Deployments sein.

Hadoop profitiert von der dynamischen Art von Cloud- IaaS, verbessert durch Data Tiers (durch die Verwendung mehrerer Stufen des Cloud-Speichers). Dadurch erhalten Sie eine robuste und kosteneffizientere Lösung, mit der Kunden ihre Compute-Anforderungen an die Arbeitsanforderungen mit flexibler Speicherdichte für HDFS optimieren können.

Oracle hat eine validierte Lösung für die schnelle und zuverlässige Durchführung dieser Ziele. Diese Lösung umfasst Prozeduren, die Oracle Cloud Infrastructure-Plattformservices unterstützen und Referenzarchitekturen. Für die tatsächliche Produktion gelten folgende Anforderungen: Sicherheit, Netzwerkkonfiguration, High Availability (HA), Disaster Recovery (DR), Identitätsintegration und Kostenmanagement.

Die Lösung von Oracle bietet Folgendes:

• 37% niedrigere Gesamtkosten (TCO) als bei On-Premise-Deployments und 68% niedrigeres TCO als Cloudlösungen
• CAPEX-Verwaltung und Reduzierung, um sicherzustellen, dass die von Ihnen verwalteten Data Center effizient sind, dabei Serverhardware eliminieren und wenn möglich die Cloud-Flexibilität nutzen
• Schnelle Aktualisierung und Patching von interner Technologie
• Proaktive Überwachung von Nutzung und Kosten
• Nahegehalts werden immer um das Geschäftswachstum oder das Workload Bursting erweitert
• Föderierte Identity-Verwaltung mit Ihren vorhandenen Systemen
• Schnelles Deployment, das Terraform-Vorlagen nutzt, um ein Hadoop-Cluster in Minuten anstatt in Tagen bereitzustellen
• Extreme Performance von Nicht-flüchtigem Speicherausdrücken (NVMe)pro gepacktem Hadoop Distributed File System (HDFS)

Gesamtkostenanalyse

Neben den Vorteilen von einfaches Verfahren, das einfacher zu verwalten und flexibler zu skalieren ist, die Hadoop in Oracle Cloud Infrastructure ausführen, ist es besser, sie On Premise oder in einem anderen Cloudsystem auszuführen.

Die geschätzten Gesamtkosten für diese Lösung können 37% kleiner sein als die Ausführung von Hadoop On Premise und 68% weniger als in einer anderen Cloud. Dabei gilt Folgendes:

• Zwei Umgebungen annehmen: eine für Production und eine für Entwicklung und Tests
• Oracleentscheidende Kostenvorteile für Block-Volumes und Datenbankspeicherung
• 21 Knoten für Hadoop, 3 für Hadoop-Services, 2 für aktive/Backup-Cloudera Manager, 3 für Perimiter-Zugriff, 500 TB Objektspeicher und 7.25 TB für Block-Volumes
• Vergleich mit zwei On-Premise-Umgebungen mit 58 Servern mit 8 bis 52 Cores, 64 bis 768 GB Speicher, 2.2 PB NAS-Speicherung und 500 GB Backups
• Vergleich mit ähnlichen verfügbaren Ressourcen aus Wettbewerbswesen, die keineOracle-Clouds sind

Eindeutige Infrastruktur und Tools

Oracle bietet ideale Infrastruktur und Tools für das Hosting von Hadoop.

Bare-Metal-Leistungseinheiten bieten die beste Performance für Hadoop-Workloads mit hoher Speicherdichte und einer schnellen lokalen NVMe-Speicherung für HDFS. Block-Volumes können zur Erweiterung des lokalen Speichers verwendet werden, sodass Sie Ihre HDFS-Speicherziele erreichen können, ohne die Skalierung auf der Anzahl der Worker-Knoten zu vereinfachen. Eine der größten Probleme bei vielen Hadoop-Deployments besteht darin, dass Speicheranforderungen normalerweise viel schneller als Workload-Anforderungen skalieren und die statische Art von physischen Hardware-Deployments zu inaktiven Compute-Ressourcen führen kann. Darüber hinaus verfügen Bare-Metal-Instanzen über duale 25-Gbps-Netzwerkschnittstellen, die die Kommunikation mit hoher Geschwindigkeit, niedriger Latenz, Intranet-Kommunikation vorantreiben. Kombinieren Sie alle Lösungen mit High Availability Deployments über mehrere Faultdomains hinweg, und verfügen Sie über eine robuste, skalierbare, leistungsstarke, cloud-basierte Hadoop-Lösung.

Proven-Kunde - Erfolg

Ein Financial Services-Branchenkunde, der Oracle Cloud Infrastructure zur Migration des On-Premise-Hadoop-Clusters wählt. Ihr Deployment dient als nützliches reales Beispiel für ein Oracle Cloud Infrastructure-basiertes Hadoop-Deployment und die Vorteile für Kunden.

Bei dieser Migration sind alle Produktionsdaten, Daten-Feeds und zusätzliche Anwendungsinfrastruktur verschoben. Die Hadoop-Umgebung umfasst Bare Metal DenseIO Intel-Hosts, die lokale NVMe für Hadoop nutzen. Der Kunde konnte seine Umgebung nach der anfänglichen Skalierung eines 1: 1-Server-Verhältnisses auf “Größe" setzen. Sie konnten dann den Footprint reduzieren, um ein bestimmtes Speicherziel (für HBase und Spark) zu erreichen, da das Oracle Cloud Infrastructure-Deployment drei Mal den Speicher ihres On-Premise-Deployments mit derselben Knotenanzahl hatte.

Durch Verschieben in Oracle Cloud Infrastructure konnte der Kunde die folgenden Ziele erreichen:

• Performance steigern
• Kosten senken
• Provisioning-Zeit für Ressourcen von 120 Tagen auf wenige Stunden reduzieren
• Verbessern Sie die Skalierung, um den Bedarf in Minuten im Vergleich zu Wochen oder Monaten zu erfüllen

Das folgende Diagramm stellt das Deployment der Produktion des Kunden in Oracle Cloud Infrastructure dar:

Beschreibung der Abbildung architecture-customer-reference.png

Das Deployment hat die folgende Konfiguration:

• 21 BM.DenseIO2.52 Bare-Metal-Mitarbeiter für Hadoop (1-PB Raw NVMeE für HDFS)
• 3 VM.Standard2.24 Master-Knoten für Hadoop-Services
• 2 VM.Standard2.16-Utilityknoten für Active/Backup Cloudera Manager
• 3 VMs der VM.Standard2.8-Achse für Perimeter-Zugriff
• 500 TB Object Storage für Spaltendaten
• 7.25 TB Block-Volumes zur Erweiterung des Betriebssystems für Logs, Parzellen und Anwendungsdaten

Validierte Lösungen, die Ihre Geschäftsanforderungen erfüllen

Cloudera, Hortonworks und MapR werden validiert, unterstützte, unabhängige Hadoop-Softwareanbieter (ISVs) auf Oracle Cloud Infrastructure. Details für jedes dieser Produkte sind in dieser Lösung enthalten.

Da Oracle Cloud Infrastructure für die Verwendungsmuster von Unternehmensproduktionsanwendungen konzipiert wurde, können vorhandene Hadoop-Deployments einfach in Oracle Cloud Infrastructure verschoben und sogar verbessert werden. Oracle stellt Architekturmuster bereit, die den Anforderungen an Netzwerke, Konnektivität, Performance, HA, DR und mehrsprachig entsprechen. Die meisten Kunden stellen fest, dass die Performance von Hadoop in Oracle Cloud Infrastructure die Performance ihrer On-Premise-Deployments überschreitet.

Oracle hat auch Terraform-Vorlagen für die schnelle Bereitstellung und Konfiguration von Hadoop auf Oracle Cloud Infrastructure entwickelt. Diese Vorlagen reduzieren die Komplexität und Zeit für das Provisioning von Hadoop auf Oracle Cloud Infrastructure. Dies führt dazu, dass Kunden Hadoop-Migrationen oder -Deployments anpassen und nutzen können.