Créez des flux de données pour charger des données à partir d'une connexion source, exécutez des transformations et déplacez les données vers une base de données cible.

L'éditeur de flux de données est divisé en cinq parties : le panneau Entité de données, la barre d'outils Fonctions de base de données, le canevas de conception, le panneau Propriétés et le panneau Statut.

description de l'illustration datafloweditor.png,

• Panneau Entités de données : le panneau Entité de données affiche les entités de données disponibles pour utilisation dans vos flux de données. La liste affichée peut être filtrée à l'aide des champs Nom et Balises. Le panneau comprend des options qui vous permettent d'ajouter des schémas, d'importer des entités de données, d'enlever tous les schémas associés au flux de données et d'actualiser les entités de données. Pour plus d'informations sur l'utilisation de ces options, reportez-vous à Ajouter des composants.
• Barre d'outils Fonctions de base de données : la barre d'outils Fonctions de base de données affiche les fonctions de base de données qui peuvent être utilisées dans vos flux de données. Tout comme les entités de données, vous pouvez glisser-déposer les outils de base de données à utiliser sur le canevas de conception. Pour plus d'informations, reportez-vous à Fonctions de base de données prises en charge.
• canevas de conception : le canevas de conception est l'endroit où vous créez votre logique de transformation. Après avoir ajouté les entités de données et les fonctions de base de données au canevas de conception, vous pouvez les connecter dans un ordre logique pour compléter vos flux de données.
• Panneau Propriétés : le panneau Propriétés affiche les propriétés de l'objet sélectionné sur le canevas de conception. Le panneau Propriétés est regroupé en quatre onglets. Général, Attributs, Aperçu des données, Mise en correspondance de colonnes et Options. Tous les onglets ne sont pas disponibles car ils varient en fonction de l'objet sélectionné. Pour en savoir plus sur ces options, reportez-vous à Propriétés de composant.
• Panneau d'état : lorsque vous exécutez un flux de données, le panneau d'état affiche le statut du travail en cours d'exécution en arrière-plan pour terminer la demande. Vous pouvez voir le statut du travail en cours d'exécution ou celui du dernier travail. Pour plus d'informations sur le panneau Statut, reportez-vous à la section Monitor Status of Data Loads, Data Flows, and Workflows.

Après avoir conçu le flux de données requis,

• Cliquez sur pour enregistrer le flux de données créé/conçu.
• Cliquez sur pour aligner les noeuds du flux de données conçu.
• Cliquez sur pour exécuter le flux de données créé.
• Cliquez sur pour valider le flux de données créé.
• Cliquez sur pour agrandir ou réduire le diagramme de flux de données créé dans le canevas de conception.

Oracle Data Transforms prend en charge diverses fonctions de base de données que vous pouvez glisser-déposer sur le canevas de conception pour connecter des composants dans un flux de données.

La barre d'outils Fonctions de base de données de l'éditeur Data Flow inclut les fonctions de base de données suivantes qui peuvent être utilisées dans vos flux de données. Pour plus d'informations sur les fonctions de base de données, reportez-vous à Oracle Database SQL Language Reference.

1. Transformation des données

   Elle propose plusieurs options :

   • Agréger
   • Expression
   • Filtrer
   • Rejoindre
   • Distinct
   • Code express
   • Définir
   • Trier
   • Filtre de sous-requête
   • Fonction de table
2. Préparation des données

   Elle propose plusieurs options :

   • Nettoyage des données
   • Substitution
   • Equi_Width Catégorisation
   • Plages par quantiles
   • LEAD
   • Décalage
   • Remplacer
3. Machine Learning

   Elle propose plusieurs options :

   • Prévision
   • Modèle de prédition
   • Détection des valeurs aberrantes
   • Vecteur d'incorporation de texte
4. Texte

   Elle propose plusieurs options :

   • NOMBRE D'EXPRESSIONS RÉGULIÈRES
   • INSTR. EXPRESSION RÉGULIÈRE
   • SUBSTRAT D'EXPRESSION RÉGULIÈRE
   • REMPLACEMENT D'EXPRESSION RÉGULIÈRE
   • Modifier la similarité de distance
   • Contient
5. Oracle Spatial and Graph

   Elle propose plusieurs options :

   • Dimension de tampon
   • Tolérance de tampon
   • Dimension de distance
   • Tolérance de distance
   • Au plus proche
   • Simplifier
   • Point
   • Outils de géocode :
     Remarque
     
     Les outils de géocodage suivants fonctionnent uniquement dans un environnement non Autonomous Database.
     • Géocoder sous forme de géométrie
     • Géocoder
     • Géocoder une adresse
     • Géocoder tout
     • Géocoder toutes les adresses
     • Géocodage inverse
     Remarque
     
     L'outil de géocodage suivant fonctionne uniquement dans un environnement Autonomous Database.
     • Cloud de géocode
   • Jointure spatiale

Ajoutez les entités de données et les fonctions de base de données au canevas de conception et connectez-les dans un ordre logique pour compléter vos flux de données.

Par exemple :

description de l'illustration add-components.png,

Data Transforms prend en charge l'utilisation du type de données vectoriel et l'intégration de vecteurs dans un flux de données. Actuellement, Data Transforms s'intègre au service OCI Generative AI pour convertir le texte d'entrée en incorporations vectorielles que vous pouvez utiliser pour l'analyse et les recherches de données.

Pour l'intégration de texte, les transformations de données prennent en charge à la fois le texte stocké dans une colonne et les liens HTTP stockés dans une colonne. Avant d'utiliser des vecteurs d'intégration dans un flux de données, vous devez effectuer les opérations suivantes :

• Créez une connexion Oracle Database 23ai. Pour obtenir des instructions génériques sur la création d'une connexion dans les transformations de données, reportez-vous à Utilisation des connexions.
• Créez une connexion d'IA générative Oracle Cloud Infrastructure (OCI). Reportez-vous à Création et utilisation d'une connexion Oracle Cloud Infrastructure Generative AI.

Pour utiliser des incorporations vectorielles dans un flux de données :

1. Suivez les instructions fournies dans Création d'un flux de données pour créer un flux de données.
2. Dans l'éditeur de flux de données, cliquez sur Ajouter un schéma pour définir la connexion source. Dans la liste déroulante Connexion, sélectionnez la connexion Oracle Database 23ai et le schéma à utiliser dans la liste déroulante. Cliquez sur OK.
3. Faites glisser les tables que vous souhaitez utiliser comme source dans le flux de données et déposez-les sur le canevas de conception.
4. Dans la barre d'outils Fonctions de base de données, cliquez sur Machine Learning et faites glisser le composant de transformation Vecteur d'incorporation de texte vers le canevas de conception.
5. Cliquez sur le composant de transformation Vecteur d'incorporation de texte pour afficher ses propriétés.
6. Dans l'onglet Général, indiquez les informations suivantes :
   • Service AI : sélectionnez OCI Generative AI dans la liste déroulante.
   • Connexion : la liste déroulante répertorie toutes les connexions disponibles pour le service AI sélectionné. Sélectionnez la connexion à utiliser.
   • Modèle AI : la liste déroulante répertorie tous les modèles disponibles pour le service et la connexion AI sélectionnés. Les modèles suivants sont répertoriés :
     • "cohere.embed-english-light-v2.0"
     • "cohere.embed-english-light-v3.0"
     • "cohere.embed-français-v3.0"
     • "cohere.embed-multilingual-light-v3.0"
     • "cohere.embed-multilingue-v3.0"
     Vous pouvez également saisir le nom du modèle.
7. Dans l'onglet Mise en correspondance de colonnes, mettez en correspondance la colonne source à intégrer avec l'attribut INPUT de l'opérateur. La seule colonne disponible dans les mappings de colonne est input_text. Faites glisser une colonne de texte des colonnes disponibles vers la colonne Expression. Il s'agit des données sur lesquelles les vecteurs seront construits.
8. Faites glisser la table à utiliser comme cible dans le flux de données et déposez-la sur le canevas de conception.
9. Enregistrez et exécutez le flux de données.

   Data Transforms crée des vecteurs pour chacune des lignes de la table source et les écrit dans la table cible.

Le panneau Propriétés affiche divers paramètres pour les composants sélectionnés dans le canevas de conception.

Selon le composant sélectionné, vous pouvez voir l'une des icônes suivantes :

• Général () : affiche le nom du composant, ainsi que ses détails de connexion et de schéma. Vous pouvez modifier certaines de ces propriétés.
• Attributs () : affiche les détails de tous les attributs associés au composant.
• Mise en correspondance de colonnes () : permet de mettre en correspondance automatiquement toutes les colonnes. Pour plus d'informations, reportez-vous à Mettre en correspondance des colonnes de données.
• Preview () : affiche un aperçu du composant. Pour les tables Oracle, vous pouvez également afficher les statistiques de l'entité de données sélectionnée. Pour plus d'informations sur les informations statistiques disponibles, reportez-vous à Visualiser les statistiques des entités de données.
• Options () : affiche des options telles que
  • Truncate Table : remplace tout contenu de table cible existant par de nouvelles données.
  • Ajouter - Insère des enregistrements à partir du flux dans la cible. Les enregistrements existants ne sont pas mis à jour.
  • Incrémentiel : intègre les données de la table cible en comparant les enregistrements du flux avec les enregistrements existants et en mettant à jour les enregistrements lorsque leurs données associées ne sont pas identiques. Ceux qui n'existent pas encore dans la cible sont insérés.
    L'option inclut une fonction de compression automatique définie sur True par défaut. Pour les travaux de flux de données qui utilisent le mode de mise à jour incrémentielle pour charger des données sur une partition cible Oracle compressée, la fonction de compression automatique recompresse les partitions cible modifiées une fois le chargement terminé. Pour les partitions de table qui ne sont pas compressées à l'origine, la compression est ignorée, que la compression automatique soit définie sur True ou non.

    Remarque
    
    L'option de compression automatique est disponible pour l'utilisateur ADMIN ou pour un utilisateur doté du rôle DWROLE. Pour les flux de données qui ont des utilisateurs de schéma autres qu'ADMIN, vous devez affecter le DWROLE à l'utilisateur ou désactiver la compression automatique pour éviter les erreurs d'exécution.

Lorsque vous connectez l'entité de données source à l'entité de données cible, les noms de colonne sont automatiquement mis en correspondance par les noms de colonne. Vous pouvez choisir de mettre en correspondance les colonnes par position ou par nom, ou de les mettre en correspondance manuellement à l'aide de l'éditeur d'expressions.

Une fois les mappings prêts, vous pouvez valider et exécuter le flux de données.