Charger
Vous découvrirez trois options d'architecture et de stockage intermédiaire pour charger des données Oracle Cloud ERP dans Snowflake.
Charger des données dans Snowflake à l'aide de codes faibles
Cette architecture utilise OCI GoldenGate et Oracle Data Transforms comme principaux outils d'intégration de données. Utilisez cette option si vous utilisez déjà ces outils et que vous avez au moins un Oracle Database exécuté sur OCI qui peut être utilisé comme emplacement temporaire pour Snowflake.
migrate-fa-snowflake-goldengate-data-int-oracle.zip
L'option utilise Oracle Data Transforms et OCI GoldenGate comme principaux outils d'extraction et de réplication. Les données sont d'abord chargées dans une zone intermédiaire Oracle Database, puis dans Snowflake. Le connecteur GoldenGate-Snowflake comporte différentes options de configuration. Cette architecture utilise la configuration par défaut. Les données sont actualisées sur la cible toutes les 30 secondes. C'est en temps réel sur la source mais en temps quasi réel sur la cible.
Suivez le blogue OCI GoldenGate Data Transforms extrayant des données d'Oracle Fusion ERP pour configurer les transformations de données Oracle afin d'extraire des données d'Oracle Cloud ERP. Sur OCI GoldenGate, vous devez créer deux déploiements. Le premier pour la technologie Oracle où une extraction est configurée pour la liste des tables créées par Oracle Data Transforms. Le deuxième déploiement concerne les technologies Big Data où Snowflake est inclus.
Consultez ce blogue pour utiliser OCI GoldenGate pour le chargement initial et l'outil de synchronisation de données en temps réel Snowflake pour configurer les déploiements et le processus d'extraction et de réplication dans Snowflake.
Cette architecture prend en charge les composants suivants :
- Bases de données Autonomous Data Warehouse
Oracle Autonomous Data Warehouse est un service de base de données entièrement géré, autosécurisé et autoréparable qui est optimisé pour les charges de travail d'entreposage de données. Il n'est pas nécessaire de configurer ou de gérer du matériel ni d'installer des logiciels. Oracle Cloud Infrastructure gère la création, la sauvegarde, l'application de correctifs, la mise à niveau et le réglage de la base de données.
- Stockage d'objets
Le service de stockage d'objets pour OCI donne accès à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- Oracle Data Transforms
Oracle Data Transforms vous permet de concevoir des transformations de données graphiques sous forme de chargements de données, de flux de données et de flux de travail sans avoir à écrire de code. Les chargements de données constituent un moyen pratique de charger des données dans Oracle Autonomous Database. Les flux de données définissent comment les données sont déplacées et transformées entre différents systèmes, tandis que les flux de travail définissent l'ordre dans lequel les flux de données sont exécutés.
- OCI - GoldenGate
Oracle Cloud Infrastructure GoldenGate est un service géré qui fournit une plate-forme de maillage de données en temps réel, une réplication pour maintenir la haute disponibilité des données et une analyse en temps réel. Vous pouvez concevoir, exécuter et surveiller vos solutions de réplication et de transmission de données en continu sans affecter ni gérer les environnements de calcul.
Charger des données dans Snowflake à l'aide de Spark
Cette architecture utilise Spark (Data Flow) pour lire des données à partir du stockage d'objets OCI, suivi de l'API Python Snowflake pour charger les données dans Snowflake.
Après avoir configuré les tâches BICC, les fichiers ZIP atterriront sur le stockage d'objets OCI. Cette architecture de référence utilise deux outils différents. Science des données pour le développement et les tests. Le service de flux de données en tant qu'outil Spark pour exécuter le code et charger les données du service de stockage d'objets OCI dans Snowflake. L'étincelle utilise un pilote JDBC qui peut être téléchargé à partir de la documentation Snowflake.
migrate-fa-snowflake-spark-object-storage-oracle.zip
Cette architecture prend en charge les composants suivants :
- Service de science des données
Oracle Cloud Infrastructure Data Science est une plate-forme sans serveur entièrement gérée que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles d'apprentissage automatique sur Oracle Cloud Infrastructure (OCI). Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles d'apprentissage automatique de haute qualité qui augmentent la flexibilité de l'entreprise en mettant rapidement à profit des données fiables de l'entreprise, et vous pouvez soutenir des objectifs d'affaires axés sur les données avec un déploiement plus facile des modèles d'apprentissage automatique. Le service Science des données permet aux spécialistes des données et aux ingénieurs d'apprentissage automatique d'utiliser gratuitement les ensembles du référentiel Anaconda.
- Stockage d'objets
Le service de stockage d'objets pour OCI donne accès à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- Flux de données
Le service de flux de données est un service Apache Spark entièrement géré qui effectue des tâches de traitement sur des jeux de données extrêmement importants, sans infrastructure à déployer ou gérer. Le service de flux de données est un programme visuel représentant le flux des données provenant de ressources de données sources, telles qu'une base de données ou un fichier plat, vers des ressources de données cibles, telles qu'un lac de données ou un entrepôt de données. Le concepteur d'interface utilisateur intuitive du service d'intégration de données pour OCI s'ouvre lorsque vous créez, consultez ou modifiez un flux de données.
Charger les données dans Cloud Storage et les copier dans Snowflake
Cette architecture utilise diverses API de stockage en nuage avec Python pour copier les données du stockage d'objets OCI vers d'autres fournisseurs de nuage tels qu'AWS S3, Google Cloud Storage ou Azure Blob Storage.
Vous devez d'abord installer et configurer le stockage en nuage approprié pour votre organisation :
- Charger les données dans Amazon S3 et les copier dans Snowflake : Le processus lit les fichiers ZIP à partir du stockage d'objets OCI et extrait le contenu dans Amazon S3 cible. Une fois les fichiers copiés, vous pouvez utiliser la commande Snowflake
COPY INTOpour charger les données dans des tables. - Charger les données dans Google Cloud Storage et les copier dans Snowflake :
- Installer le SDK Google Cloud
- Configuration de Google Cloud Storage pour l'intégration du stockage Snowflake
COPY INTOpour charger les données dans des tables. - Charger les données dans Azure Blob Storage et les copier dans Snowflake : Configuration de conteneur Azure pour l'intégration du stockage Snowflake. Le processus lit les fichiers ZIP à partir du stockage d'objets OCI et extrait le contenu dans le stockage BLOB Azure cible. Une fois les fichiers copiés, vous pouvez utiliser la commande Snowflake
COPY INTOpour charger les données dans des tables.
migrate-fa-snowflake-tiers-stockage-oracle.zip
Cette architecture prend en charge les composants suivants :
- Service de science des données
Oracle Cloud Infrastructure Data Science est une plate-forme sans serveur entièrement gérée que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles d'apprentissage automatique sur Oracle Cloud Infrastructure (OCI). Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles d'apprentissage automatique de haute qualité qui augmentent la flexibilité de l'entreprise en mettant rapidement à profit des données fiables de l'entreprise, et vous pouvez soutenir des objectifs d'affaires axés sur les données avec un déploiement plus facile des modèles d'apprentissage automatique. Le service Science des données permet aux spécialistes des données et aux ingénieurs d'apprentissage automatique d'utiliser gratuitement les ensembles du référentiel Anaconda.
- Stockage d'objets
Le service de stockage d'objets pour OCI donne accès à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.