YellowDog: Deployment der Workload Management-Plattform auf Oracle Cloud Infrastructure

Seit 2006 hat London-basierte YellowDog Unternehmen bei der Ausführung ihrer leistungsstarken Computing-Workloads in Oracle Cloud Infrastructure unterstützt. Durch die Verwendung einer Kombination aus virtuellen Maschinen und Bare-Metal-Servern, microK8-Clustern und der intelligenten Bereitstellung von Compute-Ausprägungen kann YellowDog bis zu 198,000 Compute-Cores in nur wenigen Minuten bereitstellen.

Kundenbericht

Weitere Informationen zur Customer Journey von YellowDog in Oracle Cloud:

Architektur

Die Multi-Cloud-Workload-Managementplattform von YellowDog führt ihre Infrastruktur auf Oracle Cloud Infrastructure (OCI) aus. Die Architektur verwendet VMs innerhalb eines Kubernetes-Clusterknotens MicroK8s. Jeder Clusterknoten enthält drei virtuelle Maschinen (VM) in einem einzelnen Subnetz, das über mehrere Availability-Domains verteilt ist.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.

Beschreibung von Yellowdog-architecture-oci.png folgt
Beschreibung der Abbildung Yellowdog-architecture-oci.png

gelbdog-architecture-oci-oracle.zip

YellowDog verfügt über eine Reihe von Schlüsselservices, einschließlich Datenbankservices, Ereignisstreaming-Services, Beobachtbarkeit und Managementservices, bei denen Replikatsets für das Microk8s-Cluster auf den Worker-Knoten bereitgestellt sind. Das NGINX Ingress-Gateway verwaltet den gesamten eingehenden Traffic mit der Oracle Cloud Infrastructure Domain Name System-(DNS-)Round-Robin-Methode. Anforderungen mit langer Ausführungszeit werden über die Messaging-Queue gestellt, die die Last weiter über das Cluster verteilt und ein intrinsisches Load Balancing bereitstellt.

YellowDog verfügt auch über geclusterte Compute-Umgebungen. Eine davon wird mit Oracle Cloud Infrastructure bereitgestellt, und eine andere mit einer On-Premise-Umgebung konfiguriert.

Beschreibung von Yellowdog-architecture-context-ap.png folgt
Beschreibung der Abbildung Yellowdog-architecture-context-ap.png

gelbdog-architecture-context-ap-oracle.zip

Die Architektur umfasst folgende Komponenten:

  • Region

    Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center, sogenannte Availability-Domains, enthält. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie (über Länder oder sogar Kontinente) trennen.

  • Availability-Domains

    Availability-Domains sind eigenständige, unabhängige Data Center in einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz bietet. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Daher ist es wahrscheinlich, dass sich ein Fehler in einer Availability-Domain auf die anderen Availability-Domains in der Region auswirkt.

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetze

    Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten. Wie bei herkömmlichen Data Center-Netzwerken erhalten VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überlappende CIDR-Blöcke haben, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die für eine Region oder eine Availability-Domain gelten können. Jedes Subnetz besteht aus einem fortlaufenden Adressbereich, der sich nicht mit den anderen Subnetzen im VCN überschneidet. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

  • Berechnen

    Mit dem Oracle Cloud Infrastructure Compute-Service können Sie Compute-Hosts in der Cloud bereitstellen und verwalten. Sie können Compute-Instanzen mit Ausprägungen starten, die Ihren Ressourcenanforderungen für CPU, Arbeitsspeicher, Netzwerkbandbreite und Speicher entsprechen. Nachdem Sie eine Compute-Instanz erstellt haben, können Sie sicher darauf zugreifen, sie neu starten, Volumes anhängen und trennen und bei Bedarf beenden.

  • Dateispeicher

    Oracle Cloud Infrastructure File Storage Service stellt ein dauerhaftes, skalierbares, sicheres Netzwerkdateisystem der Enterprise-Klasse bereit. Sie können über jede Bare-Metal- oder VM- oder Containerinstanz in einem VCN eine Verbindung mit einem File Storage Service-Dateisystem herstellen. Sie können auch außerhalb des VCN mit Oracle Cloud Infrastructure FastConnect und IPSec-VPN auf ein Dateisystem zugreifen.

  • Internetgateway

    Das Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.

  • Objektspeicher

    Object Storage bietet schnellen Zugriff auf große Mengen strukturierter und unstrukturierter Daten eines beliebigen Inhaltstyps, einschließlich Datenbankbackups, Analysedaten und umfangreicher Inhalte wie Bilder und Videos. Sie können Daten sicher speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher nahtlos skalieren, ohne dass es zu einer Beeinträchtigung der Performance oder Servicezuverlässigkeit kommt. Verwenden Sie den Standardspeicher für "heiße" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "kalten" Speicher, den Sie über lange Zeiträume beibehalten und selten oder nur selten zugreifen.

  • DNS

    Der Oracle Cloud Infrastructure Domain Name System-(DNS-)Service ist ein hoch skalierbares, globales Anycast-Domain Name System-(DNS-)Netzwerk, das eine verbesserte DNS-Performance, -Resilienz und -Skalierbarkeit bietet, sodass Endbenutzer so schnell wie möglich eine Verbindung zu der Kundenanwendung herstellen können, von überall aus.

  • VM-DB-System

    Oracle VM Database System ist ein Oracle Cloud Infrastructure-(OCI-)Datenbankservice, mit dem Sie vollständige Oracle-Datenbanken auf virtuellen Maschinen erstellen, skalieren und verwalten können. Ein VM-Datenbanksystem verwendet OCI Block Volumes-Speicher anstelle von lokalem Speicher und kann Oracle Real Application Clusters (Oracle RAC) ausführen, um die Verfügbarkeit zu verbessern.

Überlegungen

YellowDog hat die folgenden Punkte beim Deployment dieser Architektur berücksichtigt.

  • Performance

    Oracle Cloud Infrastructure bietet die geclusterte Compute-Umgebung von YellowDog mit großem Preis-Leistungs-Verhältnis und großem Skalierungsgrad. Da die bereitgestellten Cluster viele Hunderttausende Cores enthalten, ist der Preis und die Performance für Provisioning- und Deprovisioning-Instanzen für ihre Kunden von entscheidender Bedeutung. YellowDog verwendet eine Reihe von Provisioning-Strategien, einschließlich Spotinstanzen, On-Demand-Instanzen, Instanzpools, VMs und Bare-Metal-Instanzen, die auf den Benutzeranforderungen basieren. YellowDog verwendet eine Wasserfallstrategie, die die geordnete Voreinstellung von Computing-Anforderungen von Kunden verwendet. YellowDog verwaltet die Anforderungen basierend auf dem ersten Bucket der Prioritätsknoten und geht dann auf die nächste Ebene der Prioritätsknoten. In Zukunft untersucht YellowDog auch die Bereitstellung von GPU-Ausprägungen für medien- und unterhaltungsspezifische Kunden.

  • Sicherheit

    Aus Sicherheitsgründen besteht das Hauptproblem von YellowDog in der Datensicherheit für unterschiedliche Kundenanforderungen. Wenn ein Kunde über eine sichere Zugriffsanforderung verfügt, kann YellowDog die Daten über IPSec-VPN an den Kunden senden. Wenn kein sicherer Zugriff besteht, werden die Daten über ein öffentliches Internet über ein Internetgateway bereitgestellt.

  • Verfügbarkeit

    YellowDog verwendet das Konzept des intrinsischen Load Balancing. Mit dieser Technik werden Anforderungen mit langer Ausführungszeit über die Messaging-Queue gestellt, und der intrinsische Load Balancer verteilt den Ladevorgang mit Anforderungen mit langer Ausführungszeit weiter auf das Cluster.

  • Speicherung

    YellowDog wählte Oracle Cloud Infrastructure Object Storage, weil es ihnen konsistente Interaktionen bereitstellt. YellowDog verfügt über einen High-Level-Service, der Zugriff auf Oracle Cloud Infrastructure Object Storage hat, um Eingabe- und Ausgabeabhängigkeiten zu übertragen und abzurufen, die von Kunden in ihren Workloads definiert werden. Hochleistungs-Computing-(HPC-)Workloads, insbesondere hochverfügbare Aufgaben, erfordern häufig Hochleistungsspeicherservices für die Zusammenarbeit zwischen Worker-Knoten. YellowDog verwendet den Oracle Cloud Infrastructure File Storage-Service, um leistungsstarke Speicheranforderungen zu erfüllen.

Vorkonfiguriert und bereitgestellt

Möchten Sie anzeigen, was Sie auf Oracle Cloud Infrastructure erstellt haben? Teilen Sie Ihre Erfahrungen, Best Practices und Referenzarchitekturen gemeinsam mit unserer globalen Community aus Cloud-Architekturen? Wir helfen Ihnen beim Einstieg.

  1. Vorlage herunterladen (PPTX)

    Veranschaulichen Sie Ihre eigene Referenzarchitektur, indem Sie die Symbole per Drag-and-Drop in den Beispiel-Drahtframe ziehen.

  2. Architektur-Tutorial anzeigen

    Erhalten Sie Schritt-für-Schritt-Anweisungen zum Erstellen einer Referenzarchitektur.

  3. Diagramm weiterleiten

    Senden Sie uns eine E-Mail mit Ihrem Diagramm. Unsere Cloud-Architekten prüfen Ihr Diagramm und wenden sich an Sie, um Ihre Architektur zu besprechen.

Mehr anzeigen

Erfahren Sie mehr über die Features dieser Architektur.