Charge
Vous découvrirez trois options d'architecture et de stockage intermédiaire pour charger des données Oracle Cloud ERP dans Snowflake.
Charger des données dans Snowflake à l'aide de Low Code
Cette architecture utilise OCI GoldenGate et Oracle Data Transforms comme principaux outils d'intégration de données. Utilisez cette option si vous utilisez déjà ces outils et que vous disposez d'au moins une base de données Oracle exécutée sur OCI qui peut être utilisée comme intermédiaire pour Snowflake.
migrate-fa-snowflake-goldengate-data-int-oracle.zip
L'option utilise Oracle Data Transforms et OCI GoldenGate comme principaux outils d'extraction et de réplication. Les données sont d'abord chargées dans une zone intermédiaire de bases de données Oracle, puis dans Snowflake. Le connecteur GoldenGate-Snowflake dispose de différentes options de configuration. Cette architecture utilise la configuration par défaut. Les données sont actualisées sur la cible toutes les 30 secondes. C'est en temps réel sur la source mais presque en temps réel sur la cible.
Suivez le blog OCI GoldenGate Data Transforms qui extrait des données d'Oracle Fusion ERP pour configurer Oracle Data Transforms afin d'extraire des données d'Oracle Cloud ERP. Sur OCI GoldenGate, vous devez créer deux déploiements. Le premier pour la technologie Oracle où une extraction est configurée pour la liste des tables créées par Oracle Data Transforms. Le second déploiement concerne les technologies Big Data dans lesquelles Snowflake est inclus.
Consultez ce blog pour Utiliser OCI GoldenGate pour le chargement initial de Snowflake et la synchronisation de données en temps réel afin de configurer à la fois les déploiements et le processus d'extraction et de réplication vers Snowflake.
Cette architecture prend en charge les composants suivants :
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse est un service de base de données à pilotage automatique, à sécurité automatique et à réparation automatique optimisé pour les charges de travail d'entreposage de données. Vous n'avez pas besoin de configurer ni de gérer un matériel, ni d'installer un logiciel. OCI gère la création, la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non structurées de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- Oracle Data Transforms
Oracle Data Transforms vous permet de concevoir des transformations de données graphiques sous forme de chargements de données, de flux de données et de workflows sans avoir à écrire de code. Les chargements de données constituent un moyen pratique de charger des données dans Oracle Autonomous Database. Les flux de données définissent le mode de déplacement et de transformation des données entre différents systèmes, alors que les workflows définissent la séquence d'exécution des flux de données.
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate est un service géré qui fournit une plate-forme de maillage de données en temps réel, une réplication pour maintenir la haute disponibilité des données et des analyses en temps réel. Vous pouvez concevoir, exécuter et surveiller vos solutions de réplication et de diffusion en continu de données sans allouer ni gérer d'environnements de calcul.
Chargement de données dans Snowflake à l'aide de Spark
Cette architecture utilise Spark (Data Flow) pour lire les données à partir d'OCI Object Storage, puis l'API Python Snowflake pour charger les données dans Snowflake.
Une fois les travaux BICC configurés, les fichiers ZIP arrivent sur OCI Object Storage. Cette architecture de référence utilise deux outils différents. Data Science pour le développement et les tests. Data Flow en tant qu'outil Spark permettant d'exécuter le code et de charger les données d'OCI Object Storage vers Snowflake. Le spark utilise un pilote JDBC qui peut être téléchargé à partir de la documentation Snowflake.
migrate-fa-snowflake-spark-object-storage-oracle.zip
Cette architecture prend en charge les composants suivants :
- Data Science
Oracle Cloud Infrastructure Data Science est une plate-forme entièrement gérée et sans serveur que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles de machine learning (ML) sur OCI Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles de machine learning de haute qualité qui augmentent la flexibilité de l'entreprise en mettant les données fiables de l'entreprise à fonctionner rapidement, et vous pouvez prendre en charge des objectifs commerciaux basés sur les données avec un déploiement plus facile des modèles de machine learning. Data Science permet aux data scientists et aux ingénieurs de machine learning d'utiliser gratuitement les packages du référentiel Anaconda.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non structurées de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- OCI Data Flow
Oracle Cloud Infrastructure Data Flow est un service Apache Spark entièrement géré qui réalise des tâches d'exécution sur des ensembles de données très volumineux, sans infrastructure à déployer ou à gérer. Data Flow est un programme visuel représentant le flux des données des ressources des données source (par exemple, base de données ou fichier plat) aux ressources des données cible (par exemple, lac de données ou entrepôt de données). Le concepteur d'interface utilisateur intuitif OCI Data Integration s'ouvre lorsque vous créez, visualisez ou modifiez un flux de données.
Charger des données dans le stockage cloud et les copier dans Snowflake
Cette architecture utilise diverses API de stockage cloud avec Python pour copier les données d'OCI Object Storage vers d'autres fournisseurs cloud tels qu'AWS S3, Google Cloud Storage ou Azure Blob Storage.
Vous devez d'abord installer et configurer le stockage cloud approprié pour votre organisation :
- Chargez les données dans Amazon S3 et copiez-les dans Snowflake :
Le processus lit les fichiers ZIP à partir d'OCI Object Storage et extrait le contenu dans Amazon S3 cible. Une fois les fichiers copiés, vous pouvez utiliser la commande Snowflake
COPY INTOpour charger les données dans des tables. - Chargez des données dans Google Cloud Storage et copiez-les dans Snowflake :
- Installer le SDK Google Cloud
- Configuration de Google Cloud Storage pour l'intégration du stockage Snowflake
COPY INTOSnowflake pour charger les données dans des tables. - Chargez des données dans Azure Blob Storage et copiez-les dans Snowflake : configuration de conteneur Azure pour l'intégration du stockage Snowflake. Le processus lit les fichiers ZIP à partir d'OCI Object Storage et extrait le contenu dans le stockage BLOB Azure cible. Une fois les fichiers copiés, vous pouvez utiliser la commande
COPY INTOSnowflake pour charger les données dans des tables.
migrate-fa-snowflake-tiers-stockage-oracle.zip
Cette architecture prend en charge les composants suivants :
- Data Science
Oracle Cloud Infrastructure Data Science est une plate-forme entièrement gérée et sans serveur que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles de machine learning (ML) sur OCI Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles de machine learning de haute qualité qui augmentent la flexibilité de l'entreprise en mettant les données fiables de l'entreprise à fonctionner rapidement, et vous pouvez prendre en charge des objectifs commerciaux basés sur les données avec un déploiement plus facile des modèles de machine learning. Data Science permet aux data scientists et aux ingénieurs de machine learning d'utiliser gratuitement les packages du référentiel Anaconda.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non, de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.