Flux de données

Un schéma définit la forme des données dans un système source ou cible. Lors de l'utilisation d'un flux de données dans Data Integration, la dérive de schéma survient lorsque les définitions de données changent.

Par exemple, un attribut peut être ajouté ou enlevé dans la source, ou un attribut de la cible peut être renommé. Si vous ne gérez pas la dérive de schéma, les processus ETL peuvent échouer ou la qualité des données peut en pâtir.

Par défaut, Data Integration gère le dérive de schéma pour vous. Lorsque vous configurez un opérateur source dans le concepteur du flux de données, après en avoir sélectionné une, sélectionnez l'onglet Options avancées du panneau Propriétés. La case Autoriser la dérivée de schéma sélectionnée indique que la dérivée de schéma a été activée.

Lorsque la dérive de schéma est activée, Data Integration peut détecter les modifications de définition de schéma dans les entités de données spécifiées lors de la conception et de l'exécution du flux de données. Toutes les modifications sont automatiquement extraites et le schéma est adapté aux nouveaux attributs, aux attributs enlevés, aux différents noms d'attribut, aux types de données modifiés, etc.

Si vous désélectionnez la case Autoriser la dérive de schéma, vous désactivez cette dernière pour verrouiller les définitions de schéma lorsque le flux de données est défini. Lorsque la dérive de schéma est désactivée, Data Integration utilise une forme fixe de l'entité de données spécifiée, même lorsque la forme sous-jacente a changé.

Sans gestion de la dérive de schéma, les flux de données peuvent devenir vulnérables aux modifications de source de données en amont. Grâce à la dérive de schéma, les flux de données gagnent en résilience et s'adaptent automatiquement aux modifications. Vous n'avez pas besoin de revoir la définition des flux lorsque des modifications de la définition de schéma se produisent.

Pour un fichier JSON, la dérive de schéma est désactivée par défaut et ne peut pas être activée si un schéma personnalisé est utilisé pour inférer la forme d'entité. Si vous voulez que la dérive de schéma soit disponible et activée, modifiez la source JSON dans le flux de données ou la tâche de programme de chargement de données et désélectionnez la case Utiliser le schéma personnalisé.

Dans Data Integration, une opération de données dans un flux de données peut être propagée vers un système de données source ou cible pour traitement.

Par exemple, une opération de tri ou de filtrage peut être effectuée dans le système source pendant la lecture des données. Si l'une des sources d'une opération de jointure se trouve dans le même système que la cible, l'opération de données peut être propagée vers le système cible.

Data Integration peut utiliser la propagation dans un flux de données lorsque vous utilisez des systèmes de données relationnels qui la prennent en charge. La liste actuelle inclut les bases de données Oracle, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing et MySQL.

Par défaut, Data Integration utilise la propagation lorsque elle est applicable. Lorsque vous configurez un opérateur source dans le concepteur du flux de données, après en avoir sélectionné une, sélectionnez l'onglet Options avancées du panneau Propriétés. La case Autoriser la propagation sélectionnée indique que la propagation a été activée.

Lorsque la propagation est activée, Data Integration convertit la logique d'opération de données applicable en instructions SQL qui sont ensuite exécutées directement sur la base de données relationnelle. Avec la propagation du traitement des données vers la base de données, moins de données sont extraites et chargées.

Si vous désélectionnez la case Autoriser la propagation, vous désactivez la propagation. Lorsque la propagation est désactivée, Data Integration extrait toutes les données du système source et traite les données sur les clusters Apache Spark alloués à l'espace de travail.

En permettant à Data Integration d'utiliser la propagation, les performances sont améliorées :

• La puissance de traitement de la base de données est utilisée.
• Moins de données sont incluses pour traitement.

En fonction de l'optimisation, Data Integration peut appliquer une propagation partielle ou complète dans un flux de données. Une propagation partielle est effectuée lorsqu'un système de données relationnel pris en charge est utilisé au niveau de la source ou de la cible. Une propagation complète est effectuée lorsque les conditions suivantes sont remplies :

• Une seule cible existe dans le flux de données.
• Dans un flux de données avec une source unique, la source et la cible utilisent la même connexion à un système de données relationnel pris en charge.
• Dans un flux de données avec plusieurs sources, toutes les sources doivent également utiliser la même base de données et la même connexion.
• L'ensemble des opérateurs et fonctions de transformation du flux de données peuvent générer du code SQL de propagation valide.

La préparation des données permet aux processus Data Integration d'inclure des données précises et pertinentes avec moins d'erreurs afin de produire des données de qualité pour des informations plus fiables.

La préparation des données comprend le nettoyage et la validation des données afin de réduire les erreurs, ainsi que la transformation et l'enrichissement des données avant leur chargement vers les systèmes cible. Par exemple, les données peuvent provenir de sources différentes dans divers formats et même avec des informations en double. La préparation des données peut impliquer la suppression des attributs et lignes en double, la standardisation dans un format particulier pour tous les attributs de date et le masquage des données d'attribut sensibles, telles que les cartes de crédit et les mots de passe.

Data Integration fournit des opérateurs et fonctions de forme prêts à l'emploi, ainsi que des transformations que vous pouvez utiliser dans des outils interactifs pour préparer les données lors de la conception de la logique des processus ETL. Par exemple, l'onglet Attributs permet de rechercher les attributs entrants selon un modèle et d'appliquer une règle d'exclusion.

Dans l'onglet Données, vous pouvez appliquer des transformations sur un seul attribut, ou filtrer les attributs selon un modèle de nom ou un type de données, puis appliquer des transformations à un groupe d'attributs. Vous pouvez également prévisualiser les résultats des transformations de données dans l'onglet Données sans avoir à exécuter l'intégralité du flux de données.

Dans Data Integration, utilisez l'onglet Mettre en correspondance pour décrire le flux des données entre les attributs source et les attributs cible.

Une cible peut être une entité de données existante ou une nouvelle entité de données. Dans un flux de données, l'onglet Mettre en correspondance est uniquement applicable à un opérateur cible pour une entité de données existante. Pour les entités de données cible existantes, les attributs source et les attributs personnalisés issus des opérations en amont sont mis en correspondance avec les attributs de la cible.

Vous pouvez choisir d'utiliser le mappage automatique ou le mappage manuel. Pour le mappage automatique, Data Integration peut mapper des attributs entrants avec des attributs cible portant le même nom ou selon leur position dans les listes d'attributs. Pour la mise en correspondance manuelle, vous pouvez faire glisser un attribut entrant de la liste source vers un attribut de la liste cible pour créer une correspondance. Vous pouvez également utiliser la boîte de dialogue Mettre en correspondance l'attribut pour créer une correspondance en sélectionnant un attribut source et un attribut cible. Vous pouvez également utiliser un modèle d'attribut source et un modèle d'attribut cible pour créer la correspondance.

Lorsque vous cochez la case Créer une entité de données sur un opérateur cible, l'onglet Mettre en correspondance n'est pas disponible. Data Integration utilise les attributs source entrants pour créer la table ou la structure de fichier avec une mise en correspondance un à un.

Les outils suivants vous aident à naviguer dans un flux de données ou un pipeline sur le canevas :

• Visualiser : sélectionnez ce menu pour ouvrir ou fermer les panneaux Propriétés, Opérateurs, Validation et Paramètres.
• Zoom avant : permet d'effectuer un zoom avant sur la conception.
• Zoom arrière : permet d'effectuer un zoom arrière pour afficher une plus grande partie de la conception.
• Réinitialiser le zoom : permet de revenir à la vue par défaut de la conception.
• Guide de grille : permet d'activer et de désactiver les guides de grille.
• Mise en page automatique : permet de disposer les opérateurs sur le canevas.
• Supprimer : permet d'enlever l'opérateur sélectionné du toile.
• Annuler : permet d'enlever la dernière action effectuée.
• Rétablir : permet d'exécuter la dernière action si vous avez précédemment sélectionné Annuler.

Le canevas est la zone de travail principale, dans laquelle vous concevez le flux de données ou le pipeline.

Pour commencer, faites glisser des objets du panneau Opérateurs vers le canevas.

Pour un flux de données, vous commencez avec un canevas vide. Pour qu'un flux de données soit valide, au moins une source et une cible doivent être définies.

Pour un pipeline, vous commencez avec un canevas comportant un opérateur de début et un opérateur de fin. La conception du pipeline doit inclure au moins un opérateur de tâche pour être valide.

Pour connecter deux opérateurs, positionnez le curseur de la souris sur un opérateur jusqu'à ce que le connecteur (petit cercle) apparaisse à droite de l'opérateur. Ensuite, faites glisser le connecteur vers l'opérateur auquel vous souhaitez vous connecter. La connexion est valide lorsqu'une ligne connecte les opérateurs une fois que vous avez déposé le connecteur.

Pour insérer un opérateur entre deux opérateurs connectés, cliquez avec le bouton droit de la souris sur la ligne de connexion et utilisez le menu Insérer.

Pour supprimer une connexion, cliquez droit sur une ligne et sélectionnez Supprimer.

Pour dupliquer un opérateur source, cible ou d'expression, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur et sélectionnez Dupliquer.

Le panneau Opérateurs affiche les opérateurs que vous pouvez ajouter à un flux de données ou à un pipeline.

Faites glisser des opérateurs du panneau Opérateurs vers le canevas pour concevoir le flux de données ou le pipeline. Chaque opérateur dispose d'un ensemble de propriétés différent que vous configurez à l'aide du panneau Propriétés.

Pour un flux de données, vous pouvez ajouter des opérateurs d'entrée, de sortie et de mise en forme.

Pour un pipeline, vous ajoutez des opérateurs d'entrée, de sortie et de tâche afin de construire une séquence.

Le panneau Propriétés permet de configurer le flux de données ou le pipeline et les opérateurs correspondants.

Utilisez l'onglet Validation pour valider l'ensemble du flux de données ou du pipeline.

Dans l'onglet Paramètres, vous pouvez visualiser tous les paramètres définis au niveau du flux de données ou du pipeline, y compris les paramètres générés par le système. Pour les paramètres définis par l'utilisateur, vous pouvez supprimer des paramètres et, le cas échéant, modifier les valeurs par défaut des paramètres.

Pour un flux de données, après avoir ajouté un opérateur sur le canevas, sélectionnez cet opérateur et utilisez le panneau Propriétés afin de configurer l'opérateur. Vous pouvez effectuer les opérations suivantes :

• Spécifiez les détails de l'opérateur, tels que son identificateur, et configurez des paramètres propres à l'opérateur dans l'onglet Détails.
• Visualisez les attributs entrants et sortants de l'opérateur dans l'onglet Attributs.
• Mettez en correspondance des attributs entrants avec des attributs de l'entité de données cible pour un opérateur cible dans l'onglet Mettre en correspondance.
• Aperçu d'un échantillon de données dans l'onglet Données.
• Vérifiez la configuration de l'opérateur dans l'onglet Validation.

De même, pour un pipeline, après avoir ajouté un opérateur sur le canevas, sélectionnez ce dernier et utilisez le panneau Propriétés afin de configurer l'opérateur. Vous pouvez effectuer les opérations suivantes :

• Indiquez le nom de l'opérateur dans l'onglet Détails. Pour un opérateur de fusion, vous indiquez une condition de fusion. Pour un opérateur d'expression, vous ajoutez des expressions. Pour les opérateurs de tâche, vous sélectionnez une tâche à lier à l'opérateur et indiquez quand il s'exécute en fonction du statut d'exécution de l'opérateur en amont.

  Pour tous les opérateurs de tâche, vous pouvez sélectionner des tâches de conception à partir des projets de l'espace de travail en cours et des tâches publiées à partir de n'importe quelle application de l'espace de travail en cours. Avec les tâches REST publiées et les tâches OCI Data Flow, vous pouvez également sélectionner une tâche à partir de n'importe quelle application dans un autre espace de travail du même compartiment ou d'un autre compartiment.

• Le cas échéant, indiquez des options d'exécution de tâche dans l'onglet Configuration.
• Le cas échéant, configurez des paramètres entrants dans l'onglet Configuration.
• Visualisez les sorties dans l'onglet Résultats. Elles peuvent être utilisées en tant qu'entrée pour l'opérateur suivant du pipeline.
• Le cas échéant, validez la configuration de l'opérateur dans l'onglet Validation.

Le panneau Paramètres affiche les paramètres utilisés dans un flux de données ou dans un pipeline.

Vous pouvez également supprimer un paramètre à partir du panneau Paramètres.

Vous pouvez visualiser tous les messages d'erreur et d'avertissement d'un flux de données ou d'un pipeline dans le panneau Validation globale.

Dans la barre d'outils du canevas, sélectionnez Valider pour vérifier et déboguer le flux de données avant d'utiliser le flux de données dans une tâche d'intégration. De même, vérifiez et déboguez le pipeline avant de l'utiliser dans une tâche de pipeline. Le panneau Validation globale s'ouvre et affiche les messages d'erreur et d'avertissement à traiter. La sélection d'un message vous permet d'accéder à l'opérateur qui a généré le message d'erreur ou d'avertissement.