Documentation Oracle Cloud Infrastructure

Sélection de la cible pour une tâche de programme de chargement de données

Sélectionnez la ressource de données, la connexion et le schéma à utiliser comme cible. Configurez ensuite une nouvelle entité cible ou sélectionnez une entité de données existante dans laquelle charger les données.

Sélection d'une ressource de données cible, d'une connexion et d'un schéma

Afin de configurer l'entité de données cible pour une tâche de programme de chargement de données, commencez par sélectionner une ressource de données, une connexion et un schéma.

Vous pouvez paramétrer les ressources après avoir effectué les sélections.

  1. Sur la page Créer une tâche de programme de chargement de données, accédez à l'étape Cible.
  2. Afin de créer et de sélectionner la ressource de données pour cette cible, sélectionnez Créer en regard de Ressource de données afin de créer la ressource de données.
  3. Pour sélectionner une entité de données cible à partir d'une ressource de données existante, utilisez d'abord les menus des ressources pour sélectionner la ressource de données, la connexion et le schéma (ou bucket) uniquement dans l'ordre indiqué. Remarques :

    • Les ressources de ressource de données disponibles pour sélection dépendent du type de cible choisi à l'étape Informations de référence. Sélectionnez Tout visualiser en regard d'une ressource si vous n'avez pas ce que vous voulez dans le menu de ressource.

    • Si applicable à une ressource de données (par exemple, Object Storage), sélectionnez un compartiment avant de sélectionner un bucket (schéma).

    • Pour une connexion à la base de données, vous pouvez sélectionner Ajouter pour créer et ajouter la connexion.

  4. (Facultatif) Vous pouvez affecter un paramètre à la ressource de données, à la connexion et au schéma après avoir sélectionné les ressources. Effectuez l'une des opérations suivantes pour une ressource sur la cible :
    • Sélectionnez Paramétrer en regard de la ressource pour affecter un paramètre à cette ressource. Lors du paramétrage, Data Integration ajoute un paramètre du type approprié et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette ressource.
    • Si disponible, sélectionnez Réutiliser le paramètre source <resource> pour utiliser le même paramètre qui a été ajouté à la ressource du même type sur la source. Pour plus d'informations, reportez-vous à Réutilisation de paramètres pour les ressources source ou cible.

    Lorsque le type de ressource de données est Object Storage, vous pouvez paramétrer le bucket (schéma), mais pas le compartiment qui le contient.

  5. Selon le type de ressource de données de la cible, vous pouvez sélectionner d'autres options.
    Type de ressource de données Option

    Object Storage, HDFS

    Sous Paramètres de fichier, sélectionnez le type de fichier et le type de compression, ainsi que l'encodage, le cas échéant. Les types de compression disponibles pour sélection dépendent du type de fichier.

    Pour CSV, les autres paramètres que vous pouvez configurer sont les suivants :

    • Si la première ligne de tous les fichiers est une ligne d'en-tête, sélectionnez Données avec un en-tête.
    • Si les valeurs des lignes de données s'étendent sur plusieurs lignes, sélectionnez Multi-ligne.
    • Indiquez le caractère d'échappement des autres caractères trouvés dans les valeurs de données. Par exemple : \.
    • Sélectionnez le caractère déliimitre qui sépare les champs de données. Par exemple : COLON (:), COMMA (,), PIPE (|), SEMICOLON (;) ou TAB (\t).
    • Indiquez le caractère de guillemet qui traite les autres caractères comme des caractères littéraux. Par exemple : "
    • Si un séparateur de colonne est inclus à la fin d'une ligne de données dans tous les fichiers, sélectionnez Délimiteur de fin.

    Les options suivantes sont disponibles uniquement lorsque vous avez sélectionné Utiliser une entité de données existante sous Paramètres de chargement des entités de données cible : pour les fichiers JSON, sélectionnez Utiliser un schéma personnalisé si vous voulez coller ou télécharger un exemple de schéma personnalisé utilisé pour inférer la forme d'entité.

    • Si vous sélectionnez Télécharger vers le serveur, supprimez un fichier de schéma personnalisé dans la zone indiquée ou cliquez sur Sélectionner un fichier pour sélectionner le fichier de schéma à télécharger.

    • Si vous sélectionnez Coller dans le schéma, copiez le contenu du fichier texte du schéma et collez-le dans la zone indiquée.

    Autonomous Data Warehouse, Autonomous Transaction Processing

    • Si la ressource de données que vous sélectionnez est configurée avec un emplacement de préparation par défaut, Data Integration utilise automatiquement ce bucket Object Storage pour la préparation. Utilisez l'emplacement tampon par défaut configuré pour la ressource de données ou indiquez un autre emplacement tampon.

      Pour utiliser un autre emplacement de préparation, sous emplacement de préparation, désélectionnez la case Utiliser les paramètres d'emplacement de préparation par défaut. Ensuite, utilisez les menus de ressource pour sélectionner une ressource de données Object Storage, une connexion, un compartiment, puis le bucket (schéma) à utiliser pour la préparation.

    • Si aucun emplacement de préparation par défaut n'est configuré pour la ressource de données sélectionnée, utilisez les menus de ressource pour sélectionner une ressource de données Object Storage, une connexion, un compartiment, puis le bucket (schéma) à utiliser pour la préparation.
Une fois que vous avez sélectionné la ressource de données, la connexion, le schéma (ou le bucket) et les options cible applicables, configurez les paramètres de chargement cible pour une nouvelle entité de données ou une entité de données existante.
Utilisation de nouvelles entités de données cible

Data Integration peut créer des entités de données cible lors du chargement de données à partir des entités source.

Pour le type de chargement d'entité de données unique, vous ne pouvez utiliser un paramètre pour l'entité de données que lorsque vous choisissez l'option permettant de saisir un nom d'entité de données.

  1. Accédez à l'étape Cible, onglet Entités de données.
  2. Sous Paramètres de chargement des entités de données cible, sélectionnez Créer une entité de données.

    Pour une nouvelle cible, la stratégie d'intégration est toujours Insérer.

  3. Pour la cible Object Storage uniquement : cochez la case Créer une sortie en tant que fichier unique si vous voulez utiliser un fichier de sortie unique. Sinon, plusieurs fichiers sont créés.

    Le fichier de sortie unique est écrasé à chaque exécution de la tâche. La création d'un seul fichier de sortie peut avoir une incidence sur les performances de Data Integration. N'utilisez pas l'option de fichier de sortie unique pour les ensembles de données volumineux.

    Pour le type de chargement de plusieurs entités de données, chaque nouvelle entité de la cible comporte un fichier unique correspondant.

  4. Indiquez l'option Nom d'entité de données cible de votre choix pour la nouvelle cible. Vous pouvez choisir :

    • Utiliser les mêmes noms d'entité que la source : sélectionnez cette option pour créer des entités cible portant les mêmes noms que les entités source.

    • Ajouter un préfixe : sélectionnez cette option pour ajouter une chaîne au début (préfixe) ou à la fin (suffixe) des noms d'entité source afin de créer les noms d'entité cible.

    • (Pour le type de chargement à entité unique) Indiquer un nom d'entité : entrez le nom de la nouvelle entité cible dans le champ.

      • Pour Object Storage : entrez le nom de la nouvelle entité de données, suivi d'une barre oblique (/). Par exemple, entrez newfile/ ou newdirectory/newfile/. Toutefois, si vous cochez la case Créer une sortie en tant que fichier unique car vous voulez créer une sortie à fichier unique, entrez le nom de la nouvelle entité sans barre oblique (/) à la fin.

      • Pour une cible de base de données : si le nom d'entité que vous fournissez existe, le résultat de l'opération dépend de la forme de la cible dans la tâche de programme de chargement de données et de la forme de l'entité existante.

  5. (Facultatif) (Pour le type de chargement d'entité unique uniquement) Vous ne pouvez affecter un paramètre à l'entité de données que si vous avez choisi de saisir un nom d'entité de données à l'étape précédente. Effectuez l'une des opérations suivantes :
    • Sélectionnez Paramétrer en regard de la ressource pour affecter un paramètre à cette ressource. Lors du paramétrage, Data Integration ajoute un paramètre du type approprié et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette ressource.
    • Si disponible, sélectionnez Réutiliser le paramètre d'entité de données source pour utiliser le paramètre d'entité source comme paramètre pour cette entité de données cible. Pour plus d'informations, reportez-vous à Réutilisation de paramètres pour les ressources source ou cible.
  6. Le cas échéant, sélectionnez l'onglet Paramètres et entrez une valeur pour Limite de rejet.

    Pour Autonomous Data Warehouse ou Autonomous Transaction Processing :

    Vous pouvez indiquer le nombre maximal de lignes erronées impossibles à charger vers la cible avant de déclencher l'échec de la tâche. Par exemple, si la source de données contient 1 000 lignes et que vous définissez la limite de rejet sur 200, la tâche échoue immédiatement après le rejet de la 200e ligne erronée.

    Si vous n'indiquez pas de valeur, la valeur par défaut est zéro, ce qui signifie que la tâche échoue lorsque la première ligne erronée est rejetée.

    En cas d'échec d'une tâche, consultez les journaux pour connaître le nom des tables dans lesquelles les lignes ont été rejetées. Interrogez ensuite les tables et les lignes concernées dans la base de données autonome.

Utilisation d'entités de données cible existantes

Lorsque vous utilisez des entités de données cible existantes, vous sélectionnez la stratégie d'intégration qui détermine le mode de chargement des données vers la cible existante.

Pour le type de chargement d'entité de données unique, vous pouvez utiliser un paramètre pour l'entité de données après avoir sélectionné une entité de données.

  1. Accédez à l'étape Cible, onglet Entités de données.
  2. Sous Paramètres de chargement des entités de données cible, sélectionnez Utiliser une entité de données existante.
  3. Pour indiquer comment charger les données dans la cible, sélectionnez l'une des options de stratégie d'intégration disponibles.

    • Insérer : insère de nouveaux enregistrements ou ajoute les enregistrements lorsque les données existent sur la cible.

    • Ecraser : effectue une troncation sur la cible avant d'insérer les nouveaux enregistrements.

      La stratégie d'intégration doit être Ecraser si vous voulez créer une sortie en tant que fichier unique pour la cible Object Storage.

    • Fusionner : insère les nouveaux enregistrements et fusionne les enregistrements existants. La stratégie de fusion est disponible uniquement pour les cibles de base de données.

      Pour le type de chargement d'entité de données unique (reportez-vous à l'étape 5), vous pouvez sélectionner une clé unique autre que la clé primaire pour fusionner les données.

      Pour le type de chargement Plusieurs entités de données, la clé primaire est utilisée par défaut. Aucune action ou sélection supplémentaire n'est nécessaire.

  4. Pour la stratégie d'écrasement et la cible Object Storage uniquement : cochez la case Créer une sortie en tant que fichier unique si vous voulez utiliser un fichier de sortie unique. Sinon, plusieurs fichiers sont créés.

    Le fichier de sortie unique est écrasé à chaque exécution de la tâche. La création d'un seul fichier de sortie peut avoir une incidence sur les performances de Data Integration. N'utilisez pas l'option de fichier de sortie unique pour les ensembles de données volumineux.

    Pour le type de chargement de plusieurs entités de données, chaque entité sélectionnée dans la cible possède un fichier unique correspondant.

  5. Pour le type de chargement entité de données unique :
    1. Dans la table entités de données disponibles, sélectionnez une seule entité de données. Vous pouvez :

      • Cochez la case en regard d'un nom d'entité, puis sélectionnez Définir en tant que cible.

      • Filtrez la liste en saisissant un nom ou un modèle dans le champ, puis en appuyant sur Entrée.

        Vous pouvez saisir un nom partiel ou un modèle à l'aide de caractères spéciaux tels que *. Par exemple, vous pouvez entrer ADDRESS_* pour rechercher ADDRESS_EU1, ADDRESS_EU2 et ADDRESS_EU3.

        Dans la liste filtrée, cochez la case en regard d'un nom d'entité, puis sélectionnez Définir en tant que cible.

      • Pour une cible Object Storage avec la stratégie d'intégration Ecraser, sélectionnez une entité de données existante sans barre oblique (/) à la fin de son nom.
      Le nom de l'entité de données que vous sélectionnez est affiché en regard du libellé Entité des données sélectionnées. Pour sélectionner une autre entité de données à utiliser comme cible, sélectionnez Enlever, puis l'entité dans la table Entités de données disponibles.
    2. (Facultatif) Vous pouvez affecter un paramètre à l'entité de données après avoir sélectionné une entité de données à l'étape précédente. Effectuez l'une des opérations suivantes :
      • Sélectionnez Paramétrer en regard de la ressource pour affecter un paramètre à cette ressource. Lors du paramétrage, Data Integration ajoute un paramètre du type approprié et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette ressource.
      • Si disponible, sélectionnez Réutiliser le paramètre d'entité de données source pour utiliser le paramètre d'entité source comme paramètre pour cette entité de données cible. Pour plus d'informations, reportez-vous à Réutilisation de paramètres pour les ressources source ou cible.
    3. (Facultatif) Pour une cible de base de données avec la stratégie d'intégration Fusionner :

      La clé Merge identifie l'attribut ou les attributs pour déterminer les lignes existantes ou les nouvelles lignes à mettre à jour ou à insérer. Vous pouvez sélectionner une clé primaire/unique ou une clé secondaire comme clé de fusion.

      Cliquez sur Sélectionner ou Modifier. Dans le panneau Clé de fusion, effectuez l'une des actions suivantes :

      • Sélectionnez Attributs de clé primaire/unique et sélectionnez une clé.
      • Sélectionnez Autres attributs pour utiliser d'autres attributs (non principaux). Entrez le nom de la clé de fusion et sélectionnez les attributs dans la liste.
  6. Type de chargement Plusieurs entités de données : par défaut, les entités de données source sont automatiquement mises en correspondance avec les entités de données cible disponibles par nom.
    1. Dans la table Entités de données source, dans la colonne Mise en correspondance, vous pouvez placer le curseur sur une correspondance comportant une case verte pour afficher le nom de l'entité cible mise en correspondance.
    2. Pour créer une correspondance manuelle, faites glisser l'entité de données source vers l'entité de données cible. Une règle de mise en correspondance est ajoutée lorsque vous effectuez une correspondance manuelle.
    3. Pour enlever une correspondance AUTO ou manuelle, dans la table Entités de données cible, dans la colonne Mise en correspondance, sélectionnez Effacer en regard d'une correspondance. Ensuite, sélectionnez Supprimer la mise en correspondance pour confirmer la suppression de la mise en correspondance. Une règle de mise en correspondance est ajoutée lorsque vous effacez une mise en correspondance.
    4. Dans la table entités de données source ou entités de données cible, vous pouvez :

      • Filtrez la liste en saisissant un nom ou un modèle dans le champ, puis en appuyant sur Entrée.

        Vous pouvez saisir un nom partiel ou un modèle à l'aide de caractères spéciaux tels que *. Par exemple, vous pouvez entrer ADDRESS_* pour rechercher ADDRESS_EU1, ADDRESS_EU2 et ADDRESS_EU3.

      • Affichez toutes les entités, les entités mises en correspondance ou les entités non mises en correspondance en sélectionnant l'option appropriée dans le menu situé au-dessus de la table.

    5. Dans le menu Actions, sélectionnez les options suivantes :

      • Mettre en correspondance automatiquement par nom : cette action permet à Data Integration de créer automatiquement des mises en correspondance entre les entités source et les entités cible par nom.

      • Mettre en correspondance par modèle : utilisez cette action afin de définir un modèle source et un modèle cible pour la mise en correspondance des entités source avec les entités cible. La correspondance des modèles distingue les minuscules des majuscules.

        Reportez-vous à Mise en correspondance par modèle.

    Pour gérer les règles de mise en correspondance, reportez-vous à Affichage et suppression de règles de mise en correspondance.
Affichage et suppression de règles de mise en correspondance (plusieurs entités de données cible)

Data Integration ajoute des règles de mise en correspondance lorsque vous mettez en correspondance manuellement les entités de données source avec des entités de données cible existantes pour une tâche de programme de chargement de données.

Des règles sont également ajoutées lorsque vous enlevez des correspondances.

  1. Accédez à l'étape Cible, onglet Entités de données.
  2. Pour afficher les règles créées pour une tâche de programme de chargement de données, sélectionnez Afficher les correspondances.
  3. Dans le panneau Règles de mise en correspondance d'entités, vérifiez les correspondances que vous avez créées.
  4. Pour enlever une règle de mise en correspondance, vous pouvez recourir à l'une des deux méthodes suivantes :

    • Cochez la case correspondant à une règle, puis sélectionnez Enlever.

    • Sélectionnez le menu Actions (menu Actions) d'une règle, puis Enlever.