Flux de données

Un schéma définit la forme des données dans un système source ou cible. Lors de l'utilisation d'un flux de données dans le service d'intégration de données, la dérive de schéma survient lors de la modification des définitions de données.

Par exemple, un attribut peut être ajouté à la source ou en être supprimé, ou un attribut dans la cible peut être renommé. Si vous ne gérez pas la dérive de schéma, les processus d'extraction, transformation et chargement peuvent échouer ou la qualité des données peut perdre.

Par défaut, le service d'intégration de données gère la dérive de schéma pour vous. Lorsque vous configurez un opérateur Source dans le concepteur de flux de données, après avoir sélectionné une entité de données, sélectionnez l'onglet Options avancées du panneau Propriétés. La case Autoriser la dérive de schéma est cochée indique que la dérive de schéma est activée.

Lorsque la dérivation de schéma est activée, le service d'intégration de données peut détecter les modifications de définition de schéma dans les entités de données spécifiées lors de la conception et de l'exécution du flux. Toutes les modifications sont automatiquement récupérées et le schéma est adapté pour tenir compte des nouveaux attributs, des attributs supprimés, des noms d'attribut modifiés, des types de données modifiés, etc.

Si vous désélectionnez la case Autoriser la dérive de schéma, vous désactivez celle-ci pour verrouiller les définitions de schéma lors de la définition du flux de données. Lorsque la dérive de schéma est désactivée, le service d'intégration de données utilise une forme fixe de l'entité de données spécifiée même lorsque la forme sous-jacente a changé.

Si la dérive de schéma n'est pas gérée, les flux de données peuvent devenir vulnérables aux modifications de source de données en amont. Grâce à la dérive de schéma, les flux de données sont plus résilients et s'adaptent automatiquement à toutes les modifications. Vous n'avez pas besoin de reconcevoir les flux de données lorsqu'une définition de schéma est modifiée.

Pour un fichier JSON, la dérive de schéma est désactivée par défaut et ne peut pas être activée si un schéma personnalisé est utilisé pour déduire la forme de l'entité. Si vous voulez que la dérive de schéma soit disponible et activée, modifiez la source JSON dans le flux de données ou la tâche de chargement de données et décochez la case Utiliser un schéma personnalisé.

Dans le service d'intégration de données, une opération de données dans un flux de données peut être poussée vers un système de données source ou cible pour traitement.

Par exemple, une opération de tri ou de filtrage peut être effectuée dans le système source pendant la lecture des données. Si l'une des sources d'une opération de jointure se trouve dans le même système que la cible, l'opération de données peut être poussée vers le système cible.

Le service d'intégration de données peut utiliser la poussée vers le bas dans un flux de données lorsque vous utilisez des systèmes de données relationnels qui prennent en charge la poussée vers le bas. La liste courante inclut les bases de données Oracle, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing et MySQL.

Par défaut, le service d'intégration de données utilise la poussée vers le bas lorsque cela est nécessaire. Lorsque vous configurez un opérateur Source dans le concepteur de flux de données, après avoir sélectionné une entité de données, sélectionnez l'onglet Options avancées du panneau Propriétés. La case Autoriser la descente est cochée, ce qui indique que la descente est activée.

Lorsque la poussée vers le bas est activée, le service d'intégration de données convertit la logique de traitement de données applicable en énoncés SQL qui sont ensuite exécutés directement sur la base de données relationnelle. Avec la poussée du traitement des données vers la base de données, le volume de données extraites et chargées diminue.

Si vous désélectionnez la case Autoriser la poussée vers le bas, vous désactivez la poussée vers le bas. Lorsque la poussée vers le bas est désactivée, le service d'intégration de données extrait toutes les données du système source et les traite sur les grappes Apache Spark affectées à l'espace de travail.

En laissant le service d'intégration de données utiliser la poussée vers le bas, les performances sont améliorées car :

• La puissance de traitement de la base de données est utilisée.
• La quantité de données ingérées pour le traitement est inférieure.

Selon l'optimisation, le service d'intégration de données peut utiliser une poussée vers le bas partielle ou complète dans un flux de données. Une poussée vers le bas partielle est effectuée lorsqu'un système de données relationnel pris en charge est utilisé sur la source ou la cible. Une poussée vers le bas complète est effectuée lorsque les conditions suivantes sont présentes :

• Une seule cible existe dans le flux de données.
• Dans un flux de données avec une seule source, la source et la cible utilisent la même connexion à un système de données relationnel pris en charge.
• Dans un flux de données comportant plusieurs sources, toutes les sources doivent également utiliser la même base de données et la même connexion.
• L'ensemble des opérateurs et des fonctions de transformation du flux de données peuvent générer un code SQL de poussée vers le bas valide.

La préparation des données garantit que les processus d'intégration de données ingèrent des données précises et pertinentes avec moins d'erreurs afin de produire des données de qualité pour en tirer des données clés plus fiables.

La préparation des données consiste notamment à nettoyer et à valider les données afin de limiter les erreurs, ainsi qu'à les transformer et à les enrichir avant de les charger dans les systèmes cibles. Par exemple, les données peuvent provenir de différentes sources avec différents formats et même contenir des informations en double. La préparation des données peut comprendre la suppression des attributs et rangées en double, l'adoption d'un format standard pour tous les attributs de date et le masquage de données sensibles telles que les mots de passe et les données de carte de crédit.

Le service d'intégration de données fournit des opérateurs et des fonctions de mise en forme prêts à l'emploi et des transformations que vous pouvez utiliser dans des outils interactifs pour préparer les données lorsque vous concevez la logique des processus d'ETC. Par exemple, l'onglet Attributs vous permet de rechercher des attributs entrants à l'aide d'un modèle et d'appliquer une règle d'exclusion.

Dans l'onglet Données, vous pouvez appliquer des transformations à un seul attribut ou vous pouvez filtrer les attributs par modèle de nom ou par type de données, puis appliquer des transformations à un groupe d'attributs. Vous pouvez également prévisualiser les résultats des transformations de données dans l'onglet Données, sans avoir à exécuter l'ensemble du flux de données.

Dans le service d'intégration de données, vous utilisez l'onglet Mappage pour décrire le flux de données des attributs sources vers les attributs cibles.

Une cible peut être une entité de données existante ou nouvelle. Dans un flux de données, l'onglet Mappage s'applique uniquement à un opérateur Cible pour une entité de données existante. Pour les entités de données cibles existantes, les attributs sources et tous les attributs personnalisés provenant d'opérations en amont sont mappés aux attributs de la cible.

Vous pouvez choisir d'utiliser le mappage automatique ou le mappage manuel. Pour le mappage automatique, le service d'intégration de données peut mapper les attributs entrants aux attributs cibles portant le même nom, ou selon leur position dans les listes d'attributs. Pour un mappage manuel, vous pouvez faire glisser un attribut entrant de la liste source vers un attribut de la liste cible afin de créer un mappage. Vous pouvez également utiliser la boîte de dialogue Mapper un attribut pour créer un mappage en sélectionnant un attribut source et un attribut cible. Vous pouvez également utiliser un modèle d'attribut source et un modèle d'attribut cible pour créer le mappage.

Lorsque vous cochez la case Créer une entité de données pour un opérateur Cible, l'onglet Mappage n'est pas disponible. Le service d'intégration de données utilise les attributs sources entrants pour créer la table ou la structure de fichiers avec un mappage un à un.

Outils pour vous aider à naviguer dans un flux de données ou un pipeline sur le canevas :

• View (Voir) : Sélectionnez ce menu pour ouvrir ou fermer les panneaux Properties (Propriétés), Operators (Opérateurs), Validation (Validation) et Parameters (Paramètres).
• Zoom avant : Vous permet de zoomer sur la conception.
• Zoom arrière : Vous permet d'effectuer un zoom arrière pour en voir plus.
• Réinitialiser le zoom : Retourne à la vue par défaut de la conception.
• Guide de grille : Permet d'activer et de désactiver les guides de grille.
• Disposition automatique : Organise les opérateurs sur le canevas.
• Supprimer : Permet de supprimer l'opérateur sélectionné du canevas.
• Annuler : Supprime la dernière action effectuée.
• Rétablir : Effectue la dernière action si vous aviez sélectionné Annuler.

Le canevas est la zone de travail principale, où vous concevez le flux de données ou le pipeline.

Faites glisser des objets du panneau Opérateurs vers le canevas pour commencer.

Vous commencez par un canevas vide pour un flux de données. Pour qu'un flux de données soit valide, vous devez définir au moins une source et une cible.

Pour un pipeline, vous commencez par un canevas avec un opérateur Démarrer et un opérateur Fin. La conception de pipeline doit inclure au moins un opérateur de tâche pour être valide.

Pour connecter deux opérateurs, survolez le premier avec le pointeur de la souris jusqu'à ce que le symbole de connexion (petit cercle) apparaisse sur son côté droit. Puis faites glisser le connecteur vers l'opérateur auquel vous souhaitez le connecter. La connexion est valide lorsqu'une ligne relie les deux opérateurs.

Pour insérer un opérateur entre deux opérateurs connectés, cliquez avec le bouton droit de la souris sur la ligne de connexion et utilisez le menu Insérer.

Pour supprimer une connexion, cliquez sur une ligne avec le bouton droit de la souris et sélectionnez Supprimer.

Pour dupliquer un opérateur source, cible ou expression, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur et sélectionnez Dupliquer.

Le panneau Opérateurs affiche les opérateurs que vous pouvez ajouter à un flux de données ou à un pipeline.

Faites glisser des opérateurs du panneau Opérateurs vers le canevas pour concevoir le flux de données ou le pipeline. Chaque opérateur a son propre jeu de propriétés, que vous configurez dans le panneau Propriétés.

Pour un flux de données, vous pouvez ajouter des opérateurs d'entrée, de sortie et de mise en forme.

Pour un pipeline, vous ajoutez des opérateurs d'entrée, de sortie et de tâche pour construire une séquence.

Le panneau Propriétés vous permet de configurer le flux de données ou votre pipeline et ses opérateurs.

Utilisez l'onglet Validation pour valider l'ensemble du flux de données ou du pipeline.

Dans l'onglet Paramètres, vous pouvez voir tous les paramètres définis au niveau du flux de données ou du pipeline, y compris les paramètres générés par le système. Les paramètres définis par l'utilisateur peuvent être supprimés et, s'il y a lieu, leurs valeurs par défaut peuvent être modifiées.

Pour un flux de données, après avoir ajouté un opérateur sur le canevas, sélectionnez l'opérateur et utilisez le panneau Propriétés pour le configurer. Vous pouvez :

• Spécifier les détails de l'opérateur, tels que son identificateur, et configurer ses paramètres dans l'onglet Details (Détails).
• Voir les attributs entrant et sortant de l'opérateur dans l'onglet Attributs.
• Mapper les attributs entrants aux attributs de l'entité de données cible pour un opérateur Cible dans l'onglet Mappage.
• Aperçu d'un échantillon de données dans l'onglet Données.
• Valider la configuration de l'opérateur dans l'onglet Validation.

De même pour un pipeline, après avoir ajouté un opérateur sur le canevas, sélectionnez l'opérateur et utilisez le panneau Propriétés pour le configurer. Vous pouvez :

• Spécifiez un nom pour l'opérateur dans l'onglet Détails. Pour un opérateur Fusion, vous spécifiez une condition de fusion. Pour un opérateur Expression, vous ajoutez une ou plusieurs expressions. Pour les opérateurs de tâche, vous sélectionnez une tâche à lier à l'opérateur, et spécifiez quand la tâche s'exécute en fonction du statut d'exécution de l'opérateur amont.

  Pour tous les opérateurs de tâche, vous pouvez sélectionner des tâches de conception à partir de projets dans l'espace de travail courant et des tâches publiées à partir de n'importe quelle application dans l'espace de travail courant. Avec les tâches REST publiées et les tâches de flux de données OCI, vous pouvez également sélectionner une tâche dans n'importe quelle application d'un autre espace de travail du même compartiment ou d'un autre compartiment.

• S'il y a lieu, indiquer les options d'exécution de tâche dans l'onglet Configuration.
• Le cas échéant, configurer les paramètres entrants dans l'onglet Configuration.
• Voir les sorties dans l'onglet Sortie, qui peuvent être utilisées comme entrées pour l'opérateur suivant dans le pipeline.
• Le cas échéant, valider la configuration de l'opérateur dans l'onglet Validation.

Le panneau Paramètres affiche les paramètres utilisés dans un flux de données ou un pipeline.

Vous pouvez également supprimer un paramètre du panneau Paramètres.

Vous pouvez afficher tous les messages d'erreur et d'avertissement pour un flux de données ou un pipeline dans le panneau Validation globale.

Dans la barre d'outils du canevas, sélectionnez Valider pour vérifier et déboguer le flux de données avant d'utiliser le flux de données dans une tâche d'intégration. De même, vérifiez et déboguez le pipeline avant de l'utiliser dans une tâche de pipeline. Le panneau Validation globale s'ouvre et affiche des messages d'erreur et d'avertissement à vérifier. La sélection d'un message vous amène à l'opérateur qui a produit le message d'erreur ou d'avertissement.