À propos des flux de données

Vous pouvez créer des flux de données de l'une des façons suivantes :

• À partir de la page Projets
• À partir de la page Flux de données d'un projet
• À partir de la page d'accueil

Le flux de données nouvellement créé s'affiche dans la page Flux de données du projet associé. Cliquez sur l'icône Actions () à côté du flux de données sélectionné pour le modifier, le renommer, le copier, le modifier, le démarrer, l'exporter ou le supprimer. Voir Voir et gérer les flux de données.

À partir de la page Projets

Pour créer un flux de données à partir de la page Projets,

1. Dans la page Projets, cliquez sur Créer un flux de données.

   La page Créer un flux de données s'affiche :

2. Dans le champ Nom, entrez un nom pour le nouveau flux de données.
3. Sélectionnez Créer un projet si vous souhaitez créer un dossier de projet pour le flux de données nouvellement créé.
4. Sinon, cliquez sur Ajouter à des projets existants si vous souhaitez ajouter le flux de données nouvellement créé à un dossier de projet existant.
5. Si vous avez sélectionné Create New Project (Créer un projet) pour l'option précédente, dans le champ Project Name (Nom du projet), entrez le nom du projet nouvellement créé.
6. Sinon, si vous avez sélectionné Ajouter à des projets existants pour l'option précédente, sélectionnez le projet requis dans la flèche déroulante Nom du projet.
7. Dans le champ Description, entrez une description pour le flux de données nouvellement créé.
8. Cliquez sur Créer.

À partir de la page Flux de données d'un projet

Pour créer un flux de données à partir de la page Flux de données dans un projet,

1. Dans la page Projets, cliquez sur la vignette de projet pour laquelle vous souhaitez créer un flux de données. La page Détails du projet s'affiche.
2. Dans la page Flux de données, cliquez sur Créer un flux de données.
3. Indiquez le nom et la description du nouveau flux de données.
4. Cliquez sur Suivant.
5. Pour définir votre connexion source, dans la liste déroulante Connexion, sélectionnez la connexion requise à partir de laquelle vous souhaitez ajouter les entités de données.
6. Dans la liste déroulante Schema, tous les schémas correspondant à la connexion sélectionnée sont répertoriés en deux groupes :
   • Schéma existant (celui que vous avez importé dans Oracle Data Transforms) et
   • Nouveau schéma de base de données (celui que vous n'avez pas encore importé).

   Sélectionnez le schéma à utiliser dans la liste déroulante. Pour les connexions au service Oracle Object Storage, la liste déroulante Schéma répertorie le nom du seau que vous avez spécifié dans l'URL lors de la création de la connexion.

7. Cliquez sur Enregistrer

   L'éditeur de flux de données s'affiche et vous permet de créer un flux de données.

À partir de la page d'accueil

Pour créer un flux de données à partir de la page d'accueil,

1. Dans la page d'accueil, cliquez sur Transformer les données. La page Créer un flux de données s'affiche.
2. Indiquez le nom et la description du nouveau flux de données.
3. Sélectionnez un nom de projet dans la liste déroulante. Vous pouvez également cliquer sur l'icône + pour créer un projet.
4. Cliquez sur Suivant.
5. Dans la liste déroulante Connexion, sélectionnez la connexion requise à partir de laquelle vous souhaitez ajouter les entités de données. Vous pouvez également cliquer sur l'icône + pour créer une nouvelle connexion.
6. Dans la liste déroulante Schema, tous les schémas correspondant à la connexion sélectionnée sont répertoriés en deux groupes :
   • Schéma existant (celui que vous avez importé dans Oracle Data Transforms) et
   • Nouveau schéma de base de données (celui que vous n'avez pas encore importé).

   Sélectionnez le schéma à utiliser dans la liste déroulante.

7. Cliquez sur Enregistrer.

Vous pouvez rechercher le flux de données requis pour connaître ses détails en fonction des filtres suivants :

• Nom du flux de données.
• Dossier associé au flux de données.

Cliquez sur l'icône Actions () à côté du flux de données sélectionné pour effectuer les opérations suivantes :

• Sélectionnez Modifier pour aller à la page Détails du flux de données où vous pouvez apporter des modifications et exécuter le flux de données.
• Sélectionnez Renommer pour renommer le flux de données.
• Sélectionnez Copier pour créer une copie du flux de données sélectionné.
• Sélectionnez Modifier le dossier pour modifier le dossier dans lequel se trouve le flux de données.
• Cliquez sur Exporter pour exporter le flux de données. Voir Exporter des objets.
• Cliquez sur Démarrer pour exécuter le flux de données.
• Cliquez sur Voir les dépendances pour vérifier les flux de travail dépendants, le cas échéant, associés au flux de données sélectionné. Les dépendances sont regroupées par projet.
• Vous pouvez supprimer un ou plusieurs flux de données. Pour supprimer des flux de données :
  • Sélectionnez les flux de données.
  • Cliquez sur le bouton Supprimer. Le premier écran de confirmation s'affiche et répertorie les flux de données sélectionnés.
  • Cliquez sur Supprimer. Un autre écran de confirmation s'affiche et répertorie les flux de travail qui seront affectés lors de la suppression. Pour les flux de données qui n'ont aucune dépendance, l'écran de confirmation affiche le statut "Supprimé".
  • Sélectionnez un ou plusieurs flux de données, selon les besoins, puis cliquez sur Supprimer. Un écran de confirmation apparaît et affiche le statut des flux de données "Supprimé".

  Le flux de données et toutes les étapes de flux de travail qui référencent ce flux de données sont supprimés.

1. Dans le panneau Entités de données, cliquez sur Ajouter un schéma pour ajouter des schémas contenant les entités de données que vous voulez utiliser dans le flux de données.
2. Dans la page Add a Schema, sélectionnez la connexion et le nom du schéma.
3. Cliquez sur Importer.
4. Dans la page Import Data Entities, sélectionnez le type d'objet à importer. Sélectionnez un masque/filtre si vous ne voulez pas importer tous les objets du schéma et cliquez sur Démarrer.
5. Le panneau Entités de données répertorie les entités de données importées. Le panneau comprend différentes options qui vous permettent d'effectuer les opérations suivantes :
   • Actualiser les entités de données – Cliquez sur l'icône Actualiser pour actualiser la liste affichée.
   • Nom - Recherchez des entités de données par nom.
   • Marqueurs - Filtrez les entités de données en fonction du nom du marqueur utilisé.
   • Importer des entités de données - Cliquez avec le bouton droit de la souris sur le schéma pour voir cette option. Utilisez cette option pour importer les entités de données.
   • Supprimer le schéma - Cliquez avec le bouton droit de la souris sur l'entité de données pour voir cette option. Utilisez cette option pour supprimer le schéma de la liste. Notez que cette option ne supprime pas le schéma. Elle supprime uniquement l'association du schéma à ce flux de données.
6. Ajoutez également d'autres schémas au flux de données, si nécessaire.
7. Faites glisser les entités de données requises à utiliser dans le flux de données et déposez-les sur le canevas de conception.
8. Dans la barre d'outils Fonctions de base de données, faites glisser le composant de transformation à utiliser dans le flux de données et déposez-le sur le canevas de conception. Vous pouvez utiliser des variables dans le flux de données. Pour plus d'informations, voir Utiliser des variables dans un flux de données.
9. Sélectionnez un objet dans le canevas de conception et faites glisser l'icône Connector (Connecteur) () à côté de celui-ci pour connecter les composants.
10. Une fois le flux de données enregistré, une icône de transfert peut être superposée sur une ou plusieurs connexions de composant. Cela indique qu'ODI a détecté une étape supplémentaire et qu'il est nécessaire de déplacer les données entre les serveurs de données. Vous pouvez cliquer sur cette icône pour voir les propriétés associées à cette étape.

Exemple

L'exemple suivant illustre l'utilisation d'un composant d'agrégation dans une instruction SQL pour générer un flux de données :

create table DEMO_TARGET.SUB_QUANTITY
(
  QUANTITY_SOLD NUMBER(10,2),
PROD_SUBCATEGORY VARCHAR2(50 CHAR)
)

INSERT 
  /*+  APPEND PARALLEL  */ 
  INTO DEMO_TARGET.SUB_QUANTITY
  (
    QUANTITY_SOLD ,
    PROD_SUBCATEGORY 
  ) 
SELECT 
  (SUM(SALES.QUANTITY_SOLD)) ,
  PRODUCTS.PROD_SUBCATEGORY  
FROM 
  SH.SALES SALES  INNER JOIN  SH.PRODUCTS PRODUCTS  
    ON  SALES.PROD_ID=PRODUCTS.PROD_ID
GROUP BY
  PRODUCTS.PROD_SUBCATEGORY  

Le flux de données généré se présente comme suit :

Pour utiliser une entité de données de vue matérialisée dans l'éditeur de flux de données,

1. Faites glisser l'entité de données sur laquelle vous souhaitez créer la vue matérialisée vers le canevas de conception.
2. Sélectionnez le composant et cliquez sur l'icône Ajouter une entité de données située dans le coin supérieur droit du composant.
3. La page Ajouter une entité de données s'affiche et vous permet de configurer les détails suivants du composant cible :

   Onglet Général

   • Dans la zone de texte Nom, entrez le nom de l'entité de données nouvellement créée.
   • Dans la liste déroulante Type d'entité, sélectionnez Vue matérialisée comme type d'entité de données.

     Lorsque vous sélectionnez ce type d'entité, la liste déroulante Type de connexion ne répertorie que Oracle comme option, et la liste déroulante Connexion est alimentée avec la même connexion que l'entité de données source. Les deux options sont grisées.

   • Dans la liste déroulante Schéma, tous les schémas correspondant à la connexion sélectionnée sont répertoriés dans deux groupes.
     • Nouveau schéma de base de données (celui que vous n'avez pas importé auparavant) et
     • Schéma de base de données existant (personnes que vous avez importées d'avant et qui remplacent potentiellement des entités de données).
     Dans la liste déroulante Schéma, sélectionnez le schéma requis.
   • Dans la zone de texte Marqueurs, entrez un marqueur de votre choix. Vous pouvez utiliser des marqueurs pour filtrer les entités de données affichées dans la page Entité de données.
   • Pour marquer cette entité de données comme groupe de fonctions, développez Options avancées et cliquez sur la case à cocher Traiter comme groupe de fonctions.
   • Cliquez sur Suivant.

   Onglet Colonnes

   • Cliquez sur l'icône Ajouter des colonnes pour ajouter de nouvelles colonnes à la nouvelle entité de données créée.

     Une nouvelle colonne est ajoutée à la table affichée.

   • Le tableau présente les colonnes suivantes :
     • Le nom
     • Type de données - Cliquez sur la cellule pour configurer le type de données requis.
     • Ajuster
     • Longueur
     • Actions - Cliquez sur l'icône croisée pour supprimer la colonne créée.
   • Pour supprimer les colonnes en masse, sélectionnez-les et cliquez sur l'icône de suppression .
   • Pour rechercher les détails de colonne requis, dans la zone de texte Rechercher, entrez le nom de colonne requis et cliquez sur Entrer. Les détails de la colonne requise s'affichent.
   • Cliquez sur Suivant.

   Onglet Prévisualiser l'entité de données

   Cet onglet affiche un aperçu de toutes les colonnes créées et de leurs détails configurés.

4. Cliquez sur Enregistrer pour enregistrer la configuration et quitter l'assistant. L'entité de données de vue matérialisée est ajoutée en tant que composant dans le canevas de conception.
5. Cliquez sur l'entité de données de la vue matérialisée et, dans le volet Propriétés à droite, cliquez sur Options ().

   Définissez les options suivantes pour définir les paramètres d'actualisation :

   • Recréer une vue matérialisée : Cette option vous permet de supprimer la vue matérialisée existante et d'en créer une nouvelle si la définition change. Réglez cette valeur à true pour recréer la vue matérialisée afin qu'elle corresponde à l'interrogation du flux de données mis à jour. Cela ne doit être fait qu'une seule fois. Valeur par défaut : false.
   • Actualiser avec : Cette option vous permet de spécifier si l'actualisation incrémentielle doit être effectuée à l'aide de la clé primaire ou du ROWID interne. La valeur par défaut est ROWID.
6. Enregistrer et exécuter le flux de données. Le panneau de gauche de la page Détails du flux de données répertorie les entités de données de vue matérialisées que vous pouvez utiliser comme composant source dans un flux de données.
7. Glissez-déposez l'entité de données de vue matérialisée sur le canevas de conception. Faites glisser les entités de données requises à utiliser dans le flux de données et déposez-les sur le canevas de conception.
8. Enregistrer et exécuter le flux de données. Lors de l'exécution du flux de données, la vue matérialisée est actualisée en fonction des paramètres configurés.

Pour mapper des colonnes par position ou par nom :

1. Sélectionnez l'entité de données cible.
2. Cliquez sur la flèche située dans le coin supérieur droit pour développer le panneau Propriétés. Cela vous donnera plus d'espace pour travailler avec.
3. Dans le panneau des propriétés, cliquez sur l'icône Mappage de colonnes ().
4. Pour mapper les colonnes par poste ou par nom, dans le menu déroulant Mappage automatique, sélectionnez Par poste ou Par nom.

Pour mapper les colonnes manuellement :

1. Dans le menu déroulant Mappage automatique, sélectionnez Effacer pour effacer les mappages existants.
2. Glissez-déposez les attributs de l'arborescence de gauche pour les mapper avec la colonne Expression.
3. Pour modifier une expression, cliquez sur l'icône Modifier de la colonne correspondante. L'éditeur d'expression s'affiche et vous permet d'effectuer les modifications requises (par exemple, vous pouvez simplement ajouter une expression-"UPPER" ou ouvrir l'éditeur d'expression pour modifier l'expression).
   Note
   
   Utilisez l'éditeur d'expression uniquement si vous avez des expressions complexes pour une colonne particulière.
4. Cliquez sur OK.

1. Cliquez sur Enregistrer

   Après l'enregistrement, si les données doivent être stockées temporairement avant la transformation, le bouton Transférer est ajouté à un ou plusieurs liens. Vous pouvez cliquer sur ces boutons pour définir d'autres options, si elles sont disponibles.

2. Cliquez sur l'icône Simulation de code () si vous voulez vérifier le code qui sera exécuté pour effectuer les tâches exécutées lors de l'exécution de la tâche de flux de données. Les détails de la source et de la cible sont affichés dans différentes couleurs pour faciliter la référence. Ceci est pratique si vous voulez vérifier si le mappage est correct avant d'exécuter le travail ou si le travail échoue. Notez que le code ne peut pas être utilisé pour le débogage. Pour des informations détaillées sur l'emploi, consultez la page Détails de l'emploi.
3. Cliquez sur l'icône Valider () dans la barre d'outils au-dessus du canevas de conception pour valider le flux de données.
4. Après une validation réussie, cliquez sur l'icône Execute (Exécuter) () à côté de l'icône Validate (Valider) pour exécuter le flux de données.

   Si vous avez ajouté des variables au flux de données, la page Valeurs de variable s'affiche et affiche la liste des variables que vous avez ajoutées au flux de données. Vous pouvez choisir d'utiliser la valeur courante, la valeur par défaut ou de définir une valeur personnalisée pour chaque variable. Notez que la valeur personnalisée est appliquée uniquement à l'exécution courante du flux de données. La valeur personnalisée n'est pas conservée pour les sessions suivantes.

   Un message affiche l'ID et le nom de la tâche d'exécution. Pour vérifier le statut du flux de données, consultez le panneau Statut situé à droite sous le panneau Propriétés. Pour plus de détails sur le panneau Statut, voir Surveiller le statut des chargements de données, des flux de données et des flux de travail. Ce panneau affiche également le lien vers l'ID tâche sur lequel vous pouvez cliquer pour surveiller la progression dans la page Tâches. Pour plus d'informations, voir Créer et gérer des tâches.

   Pour les flux de données créés à l'aide des connexions au service Oracle Object Storage, les données du fichier CSV source sont chargées dans Oracle Autonomous Database cible. Vous pouvez également exporter des données d'une table Oracle Autonomous Database vers un fichier CSV dans le service Oracle Object Storage.