Belastung
Sie lernen drei Architektur- und Zwischenspeicheroptionen kennen, um Oracle Cloud ERP-Daten in Snowflake zu laden.
Daten mit Low-Code in Snowflake laden
Diese Architektur verwendet OCI GoldenGate und Oracle Data Transforms als Haupttools für die Datenintegration. Verwenden Sie diese Option, wenn Sie diese Tools bereits verwenden und mindestens eine Oracle Database auf OCI ausgeführt wird, die als Staging für Snowflake verwendet werden kann.
migrieren-fa-snowflake-goldengate-data-int-oracle.zip
Die Option verwendet Oracle Data Transforms und OCI GoldenGate als Haupttools für Extraktion und Replikation. Die Daten werden zuerst in eine Oracle Database-Staging Area und dann in Snowflake geladen. Der GoldenGate-Snowflake-Connector hat verschiedene Konfigurationsoptionen. Diese Architektur verwendet die Standardkonfiguration. Die Daten werden alle 30 Sekunden auf dem Ziel aktualisiert. Es ist Echtzeit auf der Quelle, aber fast in Echtzeit auf dem Ziel.
Folgen Sie dem Blog OCI GoldenGate Data Transforms, mit dem Daten aus Oracle Fusion ERP extrahiert werden, um Oracle Data Transforms so zu konfigurieren, dass Daten aus Oracle Cloud ERP extrahiert werden. Auf OCI GoldenGate müssen Sie zwei Deployments erstellen. Die erste für die Oracle-Technologie, bei der ein Extrakt für die Liste der von Oracle Data Transforms erstellten Tabellen konfiguriert wird. Das zweite Deployment ist für Big Data-Technologien vorgesehen, bei denen Snowflake enthalten ist.
In diesem Blog können Sie OCI GoldenGate für das erstmalige Laden von Snowflake und die Datensynchronisierung in Echtzeit verwenden, um sowohl Deployments als auch den Extraktions- und Replikationsprozess für Snowflake zu konfigurieren.
Diese Architektur unterstützt die folgenden Komponenten:
- Autonomous Data Warehouse
Oracle Autonomous Data Warehouse ist ein selbststeuernder, selbstsichernder, selbstreparierender Datenbankservice, der für Data Warehousing-Workloads optimiert ist. Sie müssen keine Hardware konfigurieren oder verwalten oder Software installieren. Mit Oracle Cloud Infrastructure können Sie die Datenbank erstellen, sichern, patchen, aktualisieren und optimieren.
- Objektspeicher
Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher im Internet oder in der Cloud-Plattform speichern. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- Oracle Data Transforms
Mit Oracle Data Transforms können Sie grafische Datentransformationen in Form von Dataloads, Datenflüssen und Workflows entwerfen, ohne dass Sie Code schreiben müssen. Mit Dataloads können Sie Daten bequem in Oracle Autonomous Database laden. Datenflüsse definieren, wie die Daten zwischen verschiedenen Systemen verschoben und transformiert werden, während die Workflows die Sequenz definieren, in der die Datenflüsse ausgeführt werden.
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate ist ein verwalteter Service, der eine Echtzeit-Data-Mesh-Plattform, Replikation zur hohen Verfügbarkeit von Daten und Echtzeitanalysen bereitstellt. Sie können Ihre Datenreplikations- und Datenstreaminglösungen entwerfen, ausführen und überwachen, ohne Compute-Umgebungen zuzuweisen oder zu verwalten.
Daten mit Spark in Snowflake laden
Diese Architektur verwendet Spark (Data Flow), um Daten aus OCI Object Storage zu lesen, gefolgt von der Snowflake-Python-API, um die Daten in Snowflake zu laden.
Nachdem Sie die BICC-Jobs konfiguriert haben, werden die ZIP-Dateien in OCI Object Storage gespeichert. Diese Referenzarchitektur verwendet zwei verschiedene Tools. Data Science für Entwicklung und Tests. Data Flow als Spark-Tool zum Ausführen des Codes und Laden der Daten aus OCI Object Storage in Snowflake. Der Funke verwendet einen JDBC-Treiber, der aus der Snowflake-Dokumentation heruntergeladen werden kann.
migrieren-fa-snowflake-spark-object-storage-oracle.zip
Diese Architektur unterstützt die folgenden Komponenten:
- Data Science
Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Data Science-Teams Modelle für maschinelles Lernen (ML) auf Oracle Cloud Infrastructure (OCI) erstellen, trainieren und verwalten können. Sie kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die Ihre Geschäftsflexibilität erhöhen, indem Sie vertrauenswürdige Unternehmensdaten schnell einsetzen und datengesteuerte Geschäftsziele durch eine einfachere Bereitstellung von ML-Modellen unterstützen. Mit Data Science können Data Scientists und Ingenieure für maschinelles Lernen Packages aus dem Anaconda-Repository kostenlos verwenden.
- Objektspeicher
Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher im Internet oder in der Cloud-Plattform speichern. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- Data Flow
Data Flow ist ein vollständig verwalteter Apache Spark-Service, der Verarbeitungsaufgaben für extrem große Datasets ausführt, ohne dass eine Infrastruktur bereitgestellt oder verwaltet werden muss. Data Flow ist ein visuelles Programm, das den Datenfluss von Quelldatenassets (z.B. eine Datenbank oder Flat File) zu Zieldatenassets wie ein Data Lake oder Data Warehouse darstellt. Der intuitive UI-Designer von OCI Data Integration wird geöffnet, wenn Sie einen Datenfluss erstellen, anzeigen oder bearbeiten.
Daten in Cloud-Speicher laden und in Snowflake kopieren
Diese Architektur verwendet verschiedene Cloud-Speicher-APIs mit Python, um die Daten aus OCI Object Storage in andere Cloud-Provider wie AWS S3, Google Cloud Storage oder Azure Blob Storage zu kopieren.
Sie müssen zuerst den relevanten Cloud-Speicher für Ihr Unternehmen installieren und konfigurieren:
- Daten in Amazon S3 laden und in Snowflake kopieren: Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert den Inhalt im Ziel-Amazon S3. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden. - Daten in Google Cloud Storage laden und in Snowflake kopieren: Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert die Inhalte in der Ziel-Google Cloud. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden. - Laden Sie Daten in Azure Blob Storage, und kopieren Sie sie in Snowflake: Azure-Containerkonfiguration für die Snowflake-Speicherintegration. Der Prozess liest die ZIP-Dateien aus OCI Object Storage und extrahiert den Inhalt im Azure Blob Storage-Ziel. Nach dem Kopieren der Dateien können Sie die Daten mit dem Snowflake-Befehl
COPY INTOin Tabellen laden.
migration-fa-snowflake-third-party-storage-oracle.zip
Diese Architektur unterstützt die folgenden Komponenten:
- Data Science
Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Data Science-Teams Modelle für maschinelles Lernen (ML) auf Oracle Cloud Infrastructure (OCI) erstellen, trainieren und verwalten können. Sie kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die Ihre Geschäftsflexibilität erhöhen, indem Sie vertrauenswürdige Unternehmensdaten schnell einsetzen und datengesteuerte Geschäftsziele durch eine einfachere Bereitstellung von ML-Modellen unterstützen. Mit Data Science können Data Scientists und Ingenieure für maschinelles Lernen Packages aus dem Anaconda-Repository kostenlos verwenden.
- Objektspeicher
Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher im Internet oder in der Cloud-Plattform speichern. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.