Le package DBMS_CLOUD_PIPELINE fournit des procédures permettant de créer, de configurer, de tester et de démarrer un pipeline. Le cycle de vie et les procédures du pipeline sont les mêmes pour les pipelines de chargement et d'exportation.

Pour chaque type de pipeline, procédez comme suit pour créer et utiliser un pipeline :

1. Créez et configurez le pipeline. Pour plus d'informations, reportez-vous à Création et configuration de pipelines.

2. Testez un nouveau pipeline. Pour plus d'informations, reportez-vous à Pipelines de test.

3. Démarrez un pipeline. Reportez-vous à Démarrage d'un pipeline pour plus d'informations.

En outre, vous pouvez surveiller, arrêter ou supprimer des pipelines :

• Lorsqu'un pipeline est en cours d'exécution, que ce soit pendant le test ou lors d'une utilisation régulière après son démarrage, vous pouvez le surveiller. Pour plus d'informations, reportez-vous à Surveillance et dépannage des pipelines.

• Vous pouvez arrêter un pipeline et le redémarrer ultérieurement, ou supprimer un pipeline lorsque vous avez terminé d'utiliser le pipeline. Pour plus d'informations, reportez-vous à Arrêt d'un pipeline et à Suppression d'un pipeline.

Un pipeline de charge fonctionne comme suit (certaines de ces fonctionnalités sont configurables à l'aide des attributs de pipeline) :

• Les fichiers de banque d'objets sont chargés en parallèle dans une table de base de données.

  • Un pipeline de chargement utilise le nom du fichier de banque d'objets pour identifier et charger de manière unique les fichiers les plus récents.
  • Une fois qu'un fichier de la banque d'objets a été chargé dans la table de base de données, si le contenu du fichier change dans la banque d'objets, il ne sera plus chargé.
  • Si le fichier de banque d'objets est supprimé, cela n'a aucune incidence sur les données de la table de base de données.

• En cas d'échec, un pipeline de chargement retente automatiquement l'opération. Des tentatives sont effectuées à chaque exécution ultérieure du travail programmé du pipeline.

• Dans les cas où les données d'un fichier ne sont pas conformes à la table de base de données, elles sont marquées comme FAILED et peuvent être vérifiées pour déboguer et résoudre le problème.

  • Si un fichier ne parvient pas à se charger, le pipeline ne s'arrête pas et continue à charger les autres fichiers.

• Les pipelines de chargement prennent en charge plusieurs formats de fichier d'entrée, notamment JSON, CSV, XML, Avro, ORC et Parquet.

La migration à partir de bases de données non Oracle est un cas d'emploi possible pour un pipeline de chargement. Lorsque vous devez migrer vos données d'une base de données non Oracle vers Oracle Autonomous Database, vous pouvez extraire les données et les charger dans Autonomous Database (le format Oracle Data Pump ne peut pas être utilisé pour les migrations à partir de bases de données non Oracle). En utilisant un format de fichier générique tel que CSV pour exporter des données à partir d'une base de données non Oracle, vous pouvez enregistrer vos données dans des fichiers et les télécharger vers la banque d'objets. Créez ensuite un pipeline pour charger les données vers Autonomous Database. L'utilisation d'un pipeline de chargement pour charger un ensemble important de fichiers CSV offre des avantages importants, tels que la tolérance aux pannes, ainsi que les opérations de reprise et de nouvelle tentative. Pour une migration avec un ensemble de données volumineux, vous pouvez créer plusieurs pipelines, un par table pour les fichiers de base de données non Oracle, afin de charger des données dans Autonomous Database.

Utilisez un pipeline d'export pour l'export incrémentiel continu de données de la base de données vers la banque d'objets. Un pipeline d'export identifie périodiquement les données candidates et les télécharge vers la banque d'objets.

Il existe trois options de pipeline d'export (les options d'export sont configurables à l'aide des attributs de pipeline) :

• Exportez les résultats incrémentiels d'une requête vers la banque d'objets en utilisant une colonne de date ou d'horodatage comme clé pour le suivi des données plus récentes.

• Exportez les données incrémentielles d'une table vers la banque d'objets en utilisant une colonne de date ou d'horodatage comme clé pour le suivi des données plus récentes.

• Exporter les données d'une table vers une banque d'objets à l'aide d'une requête pour sélectionner des données sans référence à une colonne de date ou d'horodatage (de sorte que le pipeline exporte toutes les données que la requête sélectionne pour chaque exécution du planificateur).

Les pipelines d'export disposent des fonctionnalités suivantes (certaines d'entre elles peuvent être configurées à l'aide des attributs de pipeline) :

• Les résultats sont exportés en parallèle vers la banque d'objets.

• En cas d'échec, un travail de pipeline suivant répète l'opération d'export.

• Les pipelines d'export prennent en charge plusieurs formats de fichier d'export, notamment CSV, JSON, Parquet ou XML.

Autonomous Database fournit des pipelines intégrés pour l'export des journaux vers la banque d'objets. Ces pipelines sont préconfigurés et peuvent être démarrés par l'utilisateur ADMIN.

Les pipelines Oracle Maintained sont les suivants :

• ORA$AUDIT_EXPORT : ce pipeline exporte les journaux d'audit de base de données vers la banque d'objets au format JSON et s'exécute toutes les 15 minutes après le démarrage du pipeline (en fonction de la valeur d'attribut interval).

• ORA$APEX_ACTIVITY_EXPORT : ce pipeline exporte le journal d'activité de l'espace de travail Oracle APEX vers la banque d'objets au format JSON. Ce pipeline est préconfiguré avec la requête SQL permettant d'extraire les enregistrements d'activité APEX et s'exécute toutes les 15 minutes après le démarrage du pipeline (en fonction de la valeur d'attribut interval).

Les pipelines Oracle Maintained appartiennent à l'utilisateur ADMIN et les attributs d'Oracle Maintained Pipelines peuvent être modifiés par l'utilisateur ADMIN.

Par défaut, Oracle Maintened Pipelines utilise OCI$RESOURCE_PRINCIPAL en tant que credential_name.

Pour plus d'informations, reportez-vous à Utilisation des pipelines gérés par Oracle.