Belastung
Sie lernen drei Architektur- und Zwischenspeicheroptionen kennen, um Oracle Cloud ERP-Daten in Snowflake zu laden.
Daten mit Low-Code in Snowflake laden
Diese Architektur verwendet OCI GoldenGate und Oracle Data Transforms als Haupttools für die Datenintegration. Verwenden Sie diese Option, wenn Sie diese Tools bereits verwenden und mindestens eine Oracle-Datenbank auf OCI ausgeführt wird, die als Staging für Snowflake verwendet werden kann.
migrieren-fa-snowflake-goldengate-data-int-oracle.zip
Die Option verwendet Oracle Data Transforms und OCI GoldenGate als Hauptextraktions- und Replikationstools. Die Daten werden zuerst in eine Staging Area von Oracle-Datenbanken und dann in Snowflake geladen. Der Connector GoldenGate-Snowflake verfügt über unterschiedliche Konfigurationsoptionen. Diese Architektur verwendet die Standardkonfiguration. Die Daten werden alle 30 Sekunden auf dem Ziel aktualisiert. Es ist Echtzeit auf der Quelle, aber fast in Echtzeit auf dem Ziel.
Folgen Sie dem Blog OCI GoldenGate Data Transforms, mit dem Daten aus Oracle Fusion ERP extrahiert werden, um Oracle Data Transforms so zu konfigurieren, dass Daten aus Oracle Cloud ERP extrahiert werden. Auf OCI GoldenGate müssen Sie zwei Deployments erstellen. Die erste für die Oracle-Technologie, bei der ein Extrakt für die Liste der von Oracle Data Transforms erstellten Tabellen konfiguriert wird. Das zweite Deployment ist für Big Data-Technologien vorgesehen, bei denen Snowflake enthalten ist.
In diesem Blog können Sie OCI GoldenGate für das erstmalige Laden von Snowflake und die Datensynchronisierung in Echtzeit verwenden, um sowohl Deployments als auch den Extraktions- und Replikationsprozess für Snowflake zu konfigurieren.
Diese Architektur unterstützt die folgenden Komponenten:
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse ist ein selbstverwaltender, selbstsichernder, selbstreparierender Datenbankservice, der für Data Warehousing-Workloads optimiert ist. Sie müssen weder Hardware konfigurieren oder verwalten noch Software installieren. OCI übernimmt das Erstellen, Sichern, Patchen, Upgraden und Optimieren der Datenbank.
- OCI Object Storage
OCI Object Storage bietet Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- Oracle Data Transforms
Mit Oracle Data Transforms können Sie grafische Datentransformationen in Form von Dataloads, Datenflüssen und Workflows entwerfen, ohne dass Sie Code schreiben müssen. Mit Dataloads können Sie Daten bequem in Oracle Autonomous Database laden. Datenflüsse definieren, wie die Daten zwischen verschiedenen Systemen verschoben und transformiert werden, während die Workflows die Sequenz definieren, in der die Datenflüsse ausgeführt werden.
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate ist ein verwalteter Service, der eine Echtzeit-Data-Mesh-Plattform, Replikation zur hohen Verfügbarkeit von Daten und Echtzeitanalysen bereitstellt. Sie können Ihre Datenreplikations- und Datenstreaminglösungen entwerfen, ausführen und überwachen, ohne Compute-Umgebungen zuzuweisen oder zu verwalten.
Daten mit Spark in Snowflake laden
Diese Architektur verwendet Spark (Data Flow), um Daten aus OCI Object Storage zu lesen, gefolgt von der Snowflake-Python-API, um die Daten in Snowflake zu laden.
Nachdem Sie die BICC-Jobs konfiguriert haben, werden die ZIP-Dateien in OCI Object Storage gespeichert. Diese Referenzarchitektur verwendet zwei verschiedene Tools. Data Science für Entwicklung und Tests. Data Flow als Spark-Tool zum Ausführen des Codes und Laden der Daten aus OCI Object Storage in Snowflake. Der Funke verwendet einen JDBC-Treiber, der aus der Snowflake-Dokumentation heruntergeladen werden kann.
migrieren-fa-snowflake-spark-object-storage-oracle.zip
Diese Architektur unterstützt die folgenden Komponenten:
- Data Science
Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Data-Science-Teams Modelle für maschinelles Lernen (ML) in OCI erstellen, trainieren und verwalten können. Es kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die die Geschäftsflexibilität erhöhen, indem Sie unternehmensbewusste Daten schnell einsetzen. Außerdem können Sie datengesteuerte Geschäftsziele mit einfacherem Deployment von ML-Modellen unterstützen. Mit Data Science können Data Scientists und Engineers für maschinelles Lernen kostenlos Packages aus dem Anaconda-Repository verwenden.
- OCI Object Storage
Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- OCI Datenfluss
Oracle Cloud Infrastructure Data Flow ist ein komplett verwalteter Apache Spark-Service, der Verarbeitungsaufgaben mit extrem großen Datasets ausführt – ohne Infrastruktur für Deployment oder Verwaltung. Data Flow ist ein visuelles Programm, das den Datenfluss von Quelldatenassets (z.B. eine Datenbank oder Flat File) zu Zieldatenassets (z.B. einem Data Lake oder Data Warehouse) darstellt. Der intuitive UI-Designer von OCI Data Integration wird geöffnet, wenn Sie einen Datenfluss erstellen, anzeigen oder bearbeiten.
Daten in Cloud-Speicher laden und in Snowflake kopieren
Diese Architektur verwendet verschiedene Cloud-Speicher-APIs mit Python, um die Daten aus OCI Object Storage in andere Cloud-Provider wie AWS S3, Google Cloud Storage oder Azure Blob Storage zu kopieren.
Sie müssen zuerst den relevanten Cloud-Speicher für Ihr Unternehmen installieren und konfigurieren:
- Daten in Amazon S3 laden und in Snowflake kopieren:
Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert den Inhalt im Ziel-Amazon S3. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden. - Daten in Google Cloud Storage laden und in Snowflake kopieren:
Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert die Inhalte in der Ziel-Google Cloud. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden. - Laden Sie Daten in Azure Blob Storage, und kopieren Sie sie in Snowflake: Azure-Containerkonfiguration für die Snowflake-Speicherintegration. Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert den Inhalt im Azure Blob Storage-Ziel. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden.
migration-fa-snowflake-third-party-storage-oracle.zip
Diese Architektur unterstützt die folgenden Komponenten:
- Data Science
Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Data-Science-Teams Modelle für maschinelles Lernen (ML) in OCI erstellen, trainieren und verwalten können. Es kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die die Geschäftsflexibilität erhöhen, indem Sie unternehmensbewusste Daten schnell einsetzen. Außerdem können Sie datengesteuerte Geschäftsziele mit einfacherem Deployment von ML-Modellen unterstützen. Mit Data Science können Data Scientists und Engineers für maschinelles Lernen kostenlos Packages aus dem Anaconda-Repository verwenden.
- OCI Object Storage
Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.