Créer et configurer des pipelines
Vous pouvez créer un ou plusieurs pipelines de chargement ou d'exportation. Lorsque vous créez un pipeline, vous utilisez des paramètres et définissez des attributs de pipeline pour le configurer.
Les options pour créer et configurer un pipeline sont les suivantes :
-
Charger le pipeline :
-
Pipeline d'exportation :
-
Exportez les résultats incrémentiels d'une interrogation vers le magasin d'objets à l'aide d'une colonne de date ou d'horodatage comme clé pour le suivi des données plus récentes. Voir Créer et configurer un pipeline pour l'exportation avec une colonne d'heure.
-
Exportez les données incrémentielles d'une table vers le magasin d'objets à l'aide d'une colonne de date ou d'horodatage comme clé pour le suivi des données plus récentes. Voir Créer et configurer un pipeline pour l'exportation avec une colonne d'heure.
-
Exportez les données d'une table vers le magasin d'objets à l'aide d'une interrogation permettant de sélectionner des données sans référence à une colonne de date ou d'horodatage (de sorte que le pipeline exporte toutes les données sélectionnées par l'interrogation pour chaque exécution du programmateur). Voir Créer et configurer un pipeline pour exporter des résultats d'interrogation (sans horodatage).
-
Créer et configurer un pipeline pour le chargement de données
Vous pouvez créer un pipeline pour charger des données à partir de fichiers externes dans le magasin d'objets ou les répertoires vers des tables dans Autonomous Database.
Un pipeline de chargement consomme les données placées sur le magasin d'objets ou dans les répertoires et les charge dans une table d'Autonomous Database. Lorsque vous créez un pipeline de chargement, celui-ci s'exécute à intervalles réguliers pour consommer les données placées à l'emplacement source, lorsque de nouveaux fichiers de données arrivent, le pipeline charge les nouvelles données. Vous pouvez également utiliser un pipeline pour copier de manière fiable des fichiers, avec des capacités de reprise et de nouvelle tentative, depuis l'emplacement de messagerie vers une table de votre base de données.
Avec un pipeline de chargement, l'ensemble de pipeline utilise DBMS_CLOUD.COPY_DATA
pour charger des données.
Dans Autonomous Database, utilisez une table existante ou créez la table de base de données dans laquelle vous chargez des données. Par exemple :
CREATE TABLE EMPLOYEE
(name VARCHAR2(128),
age NUMBER,
salary NUMBER);
Comme alternative, pour définir le format pour JSON, vous pouvez utiliser le format suivant :
BEGIN
DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE
(
pipeline_name => 'MY_PIPE1',
attribute_name => 'format',
attribute_value => JSON_OBJECT('type' value 'json', 'columnpath' value '["$.NAME", "$.AGE", "$.SALARY"]')
);
END;
/
Créer et configurer un pipeline pour l'exportation avec une colonne d'horodatage
À l'aide de cette option de pipeline d'exportation, vous spécifiez une table ou une interrogation SQL et une colonne avec un horodatage que le pipeline utilise pour suivre l'heure du dernier chargement. Vous pouvez utiliser un pipeline d'exportation pour partager des données pour consommation par d'autres applications ou pour enregistrer des données dans le magasin d'objets.
Avec un pipeline d'exportation, l'ensemble de pipeline utilise DBMS_CLOUD.EXPORT_DATA
pour exporter des données.
Un pipeline d'exportation exporte les données de votre base de données Autonomous Database vers le magasin d'objets. Lorsque vous créez un pipeline d'exportation, il s'exécute à intervalles réguliers et place des données dans le magasin d'objets.
Créer et configurer un pipeline pour exporter des résultats d'interrogation (sans horodatage)
Vous pouvez créer un pipeline d'exportation pour exporter automatiquement des données de votre base de données Autonomous Database vers le magasin d'objets. À l'aide de cette option de pipeline d'exportation, vous spécifiez une interrogation SQL que le pipeline exécute périodiquement pour exporter des données vers le magasin d'objets. Vous pouvez utiliser cette option d'exportation pour partager les données les plus récentes de votre base de données Autonomous Database vers le magasin d'objets pour que d'autres applications consomment les données.
Un pipeline d'exportation exporte les données de votre base de données Autonomous Database vers le magasin d'objets. Lorsque vous créez un pipeline d'exportation, il s'exécute à intervalles réguliers et place des données dans le magasin d'objets.
Tester les pipelines
RUN_PIPELINE_ONCE
pour exécuter un pipeline une fois sur demande sans créer de tâche programmée.
RUN_PIPELINE_ONCE
est utile pour tester un pipeline avant de le démarrer. Après avoir exécuté un pipeline une fois pour le tester et vérifier qu'il fonctionne comme prévu, utilisez RESET_PIPELINE
pour réinitialiser l'état du pipeline (à l'état avant l'exécution de RUN_PIPELINE_ONCE
).