Pipelines

Beschleunigen Sie Ihre Datenreplikationslösungen mit OCI GoldenGate Pipelines.

Mit OCI GoldenGate-Pipelines können Sie Datenreplikationsabläufe in Echtzeit konfigurieren, die geschäftskritische Anwendungsfälle wie Analysen, Betriebsberichte und Hybrid-Cloud-Integrationen unterstützen. Sie können eine Pipeline erstellen, um Daten direkt von Betriebsdatenbanken in Analyseumgebungen zu streamen, ohne herkömmliche ETL-(Extrahieren, Transformieren, Laden-)Prozesse. Beispiel: Sie können eine Pipeline einrichten, um Daten aus der autonomen KI-Transaktionsverarbeitung mit minimaler Konfiguration direkt in Autonomous AI Lakehouse zu replizieren.

Hinweis: Da Pipelines von GoldenGate-Deployments unterstützt werden, kann es zu Ausfallzeiten kommen, wenn ein Deployment-Upgrade stattfindet.

Informationen zu ZeroETL Pipelines

ZeroETL ist ein ETL-(Extrahieren, Transformieren und Laden-)Entwurfsmuster für die kontinuierliche, metadatengesteuerte Datenverschiebung. ZeroETL Mirror-Pipelines streamen Datenbankänderungen mit Transaktionserkennung und wenden sie direkt auf eine Zieldatenbank an.

Vorteile der ZeroETL Mirror-Pipelines:

• Weniger zu erstellende und zu wartende Pipelines: Ersetzen Sie handcodierte ETL-Prozesse und spröde Zeitpläne durch eine verwaltete Pipeline, die von OCI GoldenGate unterstützt wird.

• Schnellere Bereitstellung von Analysen und Anwendungen: Nahezu Echtzeitspiegel halten Ziele für Dashboards, KI/ML-Funktionen und Microservices synchron.

• Bessere Datenqualität und -konsistenz: Die transaktionsbezogene Replikation reduziert Abweichungen und die nachgelagerte Neuverarbeitung.

• Niedrigeres Betriebsrisiko: Verwaltete Orchestrierung, Überwachung und Fehlerbehandlung reduzieren die Bereitschaftsdienst.

• Standards, Sicherheit und Governance: Zentralisierte Verbindungen, Zugangsdatenverwaltung und Auditierbarkeit stimmen mit Unternehmenskontrollen überein.

Beispiele, für die Sie ZeroETL Mirror-Pipelines verwenden können:

• Echtzeitanalysen und Business Intelligence: Spiegeln Sie Betriebsdaten in Analysedatenbanken wie Autonomous AI Lakehouse für frische Dashboards ohne nächtliches ETL.

• Features für künstliche Intelligenz (KI)/Maschinelles Lernen (ML) speichern und Retrieval Augmented Generation (RAG): Synchronisieren Sie Features über autonome KI-Datenbanken oder Oracle AI-Datenbanken hinweg, um Inferenzen mit geringer Latenz zu ermöglichen.

• Multicloud-Anwendungsdatenstruktur: Halten Sie die Daten über Regionen und Clouds hinweg konsistent, um verteilte Anwendungen und regionale Datenzugriffsmuster zu unterstützen.

• Modernisierung und Migration: Richten Sie während der Migration ein synchronisiertes Ziel ein, um Cutover-Risiken und Ausfallzeiten zu reduzieren.

Erstellen Sie Pipelineressourcen, um zu beginnen.

Pipeline-Konzepte

Die folgenden Konzepte sind für das Arbeiten mit Pipelines von wesentlicher Bedeutung:

• Pipeline: Eine vordefinierte Komponente, die das Verschieben von Daten mit minimaler Latenz in Echtzeit von einer betrieblichen Quelldatenbank zu einem Ziel-Lakehouse oder einer Analyseplattform ermöglicht, ohne dass herkömmliche ETL-Schritte erforderlich sind.

• Pipelinetyp: Ein gängiger Anwendungsfall für die Datenreplikation.

• Capture: Ein Prozess, der für die Quellverbindung ausgeführt wird und Daten extrahiert oder erfasst. Wird auch als Extract-Prozess bezeichnet.

• Anwenden: Ein Prozess, der Daten an eine Zieldatenbank oder -technologie liefert, die auch als Replicat-Prozess bezeichnet wird.

Unterstützte Verbindungstypen für Pipelines

OCI GoldenGate Pipelines unterstützen derzeit die folgenden Oracle-Datenbanken:

• Oracle Autonomous AI Database

• Oracle AI Database

• Oracle Exadata

• Oracle AI Database@AWS – Autonomous Database

• Oracle AI Database@AWS – Exadata

• Oracle AI Database@Azure – Autonomous Database

• Oracle AI Database@Azure – Exadata

• Oracle AI Database@Google Cloud – Autonomous Database

• Oracle AI Database@Google Cloud – Exadata

• Amazon RDS for Oracle

Sie können auch eine Verbindung im Workflow Pipeline erstellen erstellen.