Liaison à des objets dans le stockage en nuage
Lorsque vous créez un lien vers des fichiers dans un seau de magasin en nuage à partir de votre base de données Oracle Autonomous AI Database, vous créez une table externe qui renvoie aux fichiers du magasin en nuage.
Vous pouvez créer un lien vers des fichiers dans les formats de fichier suivants : AVRO, CSV, JSON, GeoJSON, Parquet, ORC, TXT délimité. Pour plus d'informations sur les formats de fichier pris en charge, voir Spécifications de format pour les fichiers JSON, AVRO et XML.
Configurez et exécutez une tâche de lien de données à partir de la page Link Cloud Object. Pour ouvrir cette page :
- Ouvrez le panneau de lancement de Database Actions, cliquez sur l'onglet Data Studio et sélectionnez le menu Data Load (Chargement de données). Voir Page Chargement de données.
- Sélectionnez LINK DATA et CLOUD STORE.
Sur le côté gauche de la page se trouve un volet de navigation, dans lequel vous choisissez une connexion au magasin en nuage et les dossiers ou fichiers contenant les données. À droite de la page se trouve le panier de chargement de données, dans lequel vous stockez les fichiers et les dossiers de la tâche de lien de données. Vous pouvez définir des options pour la tâche de lien de données avant de l'exécuter. Autonomous Database est livré avec des partages d'UC/E/S prédéfinis affectés à différents groupes de consommateurs. Vous pouvez régler le groupe de consommateurs de ressources à Faible, Moyen ou Élevé lors de l'exécution d'une tâche de chargement de données en fonction de votre charge de travail.
- Gérer les liens de stockage en nuage pour les tâches de lien de données
Avant de pouvoir établir un lien vers des données dans un magasin en nuage, vous devez établir une connexion au magasin en nuage à utiliser. - Préparer la tâche de lien de données
- Ajouter des fichiers ou des dossiers pour la tâche de lien de données
- Entrer les détails de la tâche de lien de données
Entrez les détails de la tâche de lien de données dans le volet Lier les données du stockage en nuage. - Exécuter la tâche de lien de données
Une fois que vous avez ajouté des sources de données au panier de liens de données et entré des détails sur la tâche de lien de données, vous pouvez exécuter la tâche. - Voir les détails de la tâche de lien de données après son exécution
Vous pouvez voir la progression de la tâche dans le tableau de bord de chargement de données. - Voir la table résultant de la tâche de lien de données
Après avoir exécuté une tâche de lien de données, vous pouvez voir la table créée par la tâche de lien de données dans le tableau de bord de chargement de données.
Rubrique parent : Liaison de données
Gérer les liens de stockage en nuage pour les tâches de lien de données
Avant de pouvoir créer un lien vers des données dans un magasin en nuage, vous devez établir une connexion au magasin en nuage à utiliser.
Dans la page Link Cloud Object :
-
Cliquez sur l'icône Gérer le magasin en nuage en plus du champ dans lequel vous entrez l'emplacement du magasin en nuage. Sélectionnez + Créer un emplacement de magasin en nuage.
-
Entrez vos informations dans le volet Ajouter un emplacement de magasin en nuage. Voir pour ajouter un emplacement de stockage en nuage.
Voir Gestion des connexions.
Pour retourner à la page Link Cloud Object (Lier l'objet en nuage), cliquez sur Data Load (Chargement de données) dans les chemins de navigation en haut de la page, puis revenez à la page.
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Préparer la tâche de lien de données
Vous devrez peut-être ajuster vos données sources ou votre table cible afin que les données sources soient correctement liées à la table cible externe. Considérez :
-
Si vous créez un lien vers plusieurs fichiers, vous devez vous assurer que :
-
Tous les fichiers sources sont du même type, par exemple CSV, JSON, etc.
-
Le nombre, l'ordre et les types de données des colonnes dans tous les fichiers sources correspondent.
-
-
Si vous souhaitez partitionner par date :
-
Le fichier source doit contenir des données dont le type est Date ou Horodatage.
-
Vous devez charger un dossier contenant au moins deux sources de données.
-
Les noms des fichiers du dossier doivent indiquer une ou plusieurs dates, par exemple
MAR-1999.csvou2017-04-21.xlsx.
-
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Ajouter des fichiers ou des dossiers pour la tâche de lien de données
Ajoutez des fichiers du magasin en nuage au panier de liens de données, où vous pouvez modifier les détails de la tâche de lien de données. Pour ajouter des fichiers :
-
Dans la liste en haut du volet de navigation à gauche, sélectionnez le seau contenant vos données sources.
La liste présente les liens qui ont été établis dans la page Gérer le stockage en nuage. Si vous n'avez pas encore enregistré le magasin en nuage à utiliser, cliquez sur le bouton Connexions dans le menu Chargement de données de la suite d'outils Data Studio et enregistrez une connexion.
-
Faites glisser un ou plusieurs éléments du navigateur de fichiers à gauche et déposez-les dans le panier à droite.
-
Vous pouvez ajouter des fichiers, des dossiers ou les deux. Une carte est ajoutée au panier pour chaque fichier ou dossier que vous y faites glisser. La carte répertorie le nom du fichier ou du dossier source et le nom proposé pour la table cible.
-
Si vous ajoutez un dossier qui contient plusieurs fichiers, tous les fichiers doivent être du même type, c'est-à-dire CSV, TXT, etc.
Lorsque vous ajoutez le dossier au panier, une invite s'affiche et vous demande si vous souhaitez charger tous les objets des fichiers sources multiples dans une seule table cible. Cliquez sur Oui pour continuer ou sur Non pour annuler.
-
Lorsque vous ajoutez plusieurs fichiers individuels ou plusieurs dossiers au panier, les données représentées par chaque carte sont chargées dans une table distincte, mais tous les articles du panier sont traités dans le cadre de la même tâche de chargement de données.
-
Vous pouvez ajouter des fichiers ou des dossiers à partir d'un autre seau, mais si vous le faites, vous êtes invité à supprimer tous les fichiers qui se trouvent déjà dans le panier avant de continuer. Pour sélectionner des fichiers à partir d'un autre seau, sélectionnez-le dans la liste déroulante du volet de navigation à gauche, puis ajoutez les fichiers, comme décrit ci-dessus.
-
Vous pouvez déposer des fichiers ou des dossiers dans le chariot de chargement de données, puis quitter la page Objet de lien de données. Lorsque vous revenez à la page, ces éléments restent sur la page, mais vous pouvez recevoir un message intitulé "Supprimer tous les éléments de lien de données". Le passage à un autre emplacement de stockage en nuage nécessite la suppression de tous les éléments de la tâche de chargement de données. Voulez-vous continuer?" Cliquez sur Oui pour supprimer les articles du panier. Cliquez sur Non pour conserver les articles dans le panier. Ensuite, vous pouvez continuer à travailler.
-
Vous pouvez supprimer des articles du panier avant d'exécuter la tâche de lien de données :
-
Pour supprimer un article du panier, sélectionnez Supprimer dans la carte pour la barre de menu du panier du lien de données de l'article en haut du volet.
-
Pour supprimer tous les articles du panier, cliquez sur Tout supprimer dans la barre de menu du panier du lien de données en haut du volet.
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Entrer les détails de la tâche de lien de données
Entrez les détails de la tâche de lien de données dans le volet Lier les données du stockage en nuage.
Dans la carte du panier du lien de données, cliquez sur Paramètres pour ouvrir le volet Lier les données du stockage en nuage pour ce travail. Le volet contient :
Onglet Paramètres - Section Table
Définissez les détails de la table cible dans la section Table.
- Nom : Nom de la table cible.
-
Colonne de partition :
Les partitions de liste et les partitions basées sur une date sont les différents types de partitions disponibles dans la liaison de données.
Le partitionnement par liste est requis lorsque vous souhaitez mapper des lignes à des partitions en fonction de valeurs discrètes.
Pour partitionner en fonction d'une colonne spécifique, cliquez sur la liste déroulante Colonne de partition et sélectionnez la colonne à utiliser pour le partitionnement.
Vous aurez N fichiers par valeur de partition, tous partitionnés par la colonne de partition que vous sélectionnez.
Note
- Pour les fichiers liés (à partir de tables externes), il est également nécessaire que, pour chaque fichier, la colonne de partitionnement de liste ne contienne qu'une seule valeur distincte pour toutes les rangées.
- Si un fichier est partitionné par liste, la clé de partitionnement ne peut être constituée que d'une seule colonne de la table.
Le partitionnement par date est disponible lorsque vous liez un dossier contenant au moins deux sources de données contenant des colonnes contenant des données de date ou d'horodatage.
Pour partitionner en fonction de la DATE, cliquez sur la liste déroulante Colonne de partition et sélectionnez la colonne DATE ou TIMESTAMP à utiliser pour le partitionnement.
-
Type de validation : La validation examine les fichiers sources, les informations de partitionnement facultatives et les rangées de rapport qui ne correspondent pas aux options de format spécifiées. Sélectionnez Aucun pour aucune validation; sélectionnez Échantillon pour effectuer la validation en fonction d'un échantillon des données; ou sélectionnez Complet pour effectuer la validation en fonction de toutes les données.
- Utiliser un caractère générique : Cette case à cocher permet d'utiliser des caractères génériques dans la condition de recherche pour extraire un groupe spécifique de fichiers correspondant aux critères de filtre.
Vous pouvez utiliser un caractère générique, tel qu'un astérisque (*), qui recherche, filtre et spécifie des groupes de fichiers qui détectent et ajoutent de nouveaux fichiers à la table externe.
Par exemple, si vous entrez file*, alors file01, file02, file03, etc., sont considérés comme correspondant au mot clé. L'astérisque (*) correspond à zéro ou plusieurs caractères des possibilités, au mot clé.
Note
La prise en charge des caractères génériques est incompatible avec le partitionnement. La validation du fichier source échoue si vous utilisez des caractères génériques avec des données partitionnées.
Onglet Paramètres - Section Propriétés
Spécifiez les options permettant de contrôler l'interprétation, l'aperçu et le traitement des données sources. Ces options varient en fonction du type de données sources.
-
Encodage : Sélectionnez un type d'encodage de caractères dans la liste. Cette option est disponible lorsque le fichier lié est en format texte brut (CSV, TSV ou TXT). Le type d'encodage par défaut est UTF-8.
-
Clôture de texte : Sélectionnez le caractère pour l'inclusion de texte : " (caractère à guillemet double), ' (caractère à guillemet unique) ou Aucun. Cette option n'est visible que lorsque le fichier sélectionné est en format texte brut (CSV, TSV ou TXT).
-
Délimiteur de champ : Sélectionnez le caractère de délimiteur utilisé pour séparer les colonnes de la source. Par exemple, si le fichier source utilise des points-virgules pour délimiter les colonnes, sélectionnez Semicolon dans cette liste. La valeur par défaut est Virgule. Cette option n'est visible que lorsque le fichier sélectionné est en format texte brut (CSV, TSV ou TXT).
-
Démarrer le traitement des données à la rangée : Spécifie le nombre de rangées à ignorer lors de la liaison des données sources à la table externe cible :
-
Si vous sélectionnez l'option Rangée d'en-tête de colonne sous Nom de colonne source (voir ci-dessous) et si vous entrez un nombre supérieur à 0 dans le champ Démarrer le traitement des données à la rangée, le nombre de rangées après la première rangée n'est pas lié à la cible.
-
Si vous désélectionnez l'option Rangée d'en-tête de colonne sous Nom de la colonne source, et si vous entrez un nombre supérieur à 0 dans le champ Démarrer le traitement des données dans la rangée, le nombre de rangées, y compris la première rangée, n'est pas lié à la cible.
-
-
Nom de colonne source : Cochez la case Rangée d'en-tête de colonne pour utiliser les noms de colonne qui forment la table source dans la table cible.
-
Si vous sélectionnez cette option, la première ligne du fichier est traitée en tant que nom de colonne. Les rangées de la section Mappage ci-dessous sont remplies avec ces noms (et avec les types de données existants, sauf si vous les modifiez).
-
Si vous désélectionnez cette option, le premier enregistrement sera traité en tant que données. Pour spécifier les noms de colonne manuellement, entrez un nom pour chaque colonne cible dans la section Mappage. (Vous devrez également entrer des types de données.)
-
-
Colonne numérique : Cochez la case Convertir les données non valides en valeurs nulles pour convertir une valeur de colonne numérique non valide en valeurs nulles.
-
Nouvelles lignes incluses dans les valeurs de données : Sélectionnez cette option s'il y a des caractères de nouvelle ligne ou s'il retourne au début de la ligne courante sans avancer vers le bas dans les champs de données. La sélection de cette option augmentera le temps nécessaire au traitement du chargement. Si vous ne sélectionnez pas cette option lors du chargement des données, les lignes contenant des nouvelles lignes dans les champs seront rejetées. Vous pouvez voir la rangée rejetée dans le panneau Rapport de tâche.
Onglet Paramètres - Section Mappage
Les paramètres de la section Mappage contrôlent la façon dont les données des fichiers sources sont liées aux rangées de la table externe cible. Pour chaque rangée, les données de la colonne répertoriée sous Colonne source sont liées à la colonne répertoriée sous Colonne cible.
-
Colonne source : Liste les colonnes du fichier source.
Si l'option Rangée d'en-tête de colonne sous Propriétés est sélectionnée, la colonne source affiche les noms des colonnes dans le fichier source. Si l'option Rangée d'en-tête de colonne n'est pas sélectionnée, des noms génériques tels que COLUMN_1, COLUMN_2, etc., sont utilisés. Ce champ est toujours en lecture seule.
Vous pouvez voir deux colonnes sources
FILE$NAMEetSYSTIMESTAMP. La colonneFILE$NAMEvous permet de localiser le fichier source contenant un enregistrement de données particulier. Par exemple, vous chargez un fichier source qui contient une liste de fichiers. Les noms de fichier de la liste font référence aux noms de service dans l'ensemble de l'organisation. Par exemple, un fichier finance.txt contient des données du service des finances. Dans le mappage, vous pouvez utiliser des types de données de type chaîne pour extraire le nom de service de la sortie de la colonne de nom de fichier. Vous pouvez utiliser le nom du service extrait pour traiter les données différemment pour chaque service.La colonne
SYSTIMESTAMPnous permet de voir l'horodatage courant dans la base de données.Note
- Les colonnes sources
FILE$NAMEetSYSTIMESTAMPne sont pas incluses par défaut. Vous devez cocher la case Inclure et exécuter le chargement pour la table cible afin d'afficher ces deux colonnes. - Lorsque vous créez un flux dynamique, les colonnes sources
FILE$NAMEetSYSTIMESTAMPapparaissent par défaut dans la table de mappage.
- Les colonnes sources
-
Colonne cible : Liste les colonnes de la table cible.
-
Si l'option Column header row (Rangée d'en-tête de colonne) est sélectionnée, la colonne cible utilise les noms des colonnes du fichier source. Vous pouvez modifier le nom d'une colonne cible en remplaçant le nom fourni par un nouveau nom. Vous devez vous assurer que la colonne cible n'est pas vide. Le nom de colonne cible ne doit pas être un double d'une autre colonne cible. Le nom de la colonne cible ne peut pas être en double en tant qu'autre colonne cible. La longueur de la colonne cible ne doit pas dépasser 128 octets. La limite de 128 octets est une limite de base de données.
-
Si l'option Column header row (Rangée d'en-tête de colonne) est non sélectionnée, des noms génériques tels que COLUMN_1, COLUMN_2, etc., sont utilisés. Vous pouvez modifier le nom d'une colonne cible en remplaçant le nom fourni par un nouveau nom.
Note
Si vous liez plusieurs fichiers à partir d'un dossier dans une seule tâche de lien de données, seul le premier fichier sera affiché dans la section Mappage. Toutefois, tant que les noms de colonne et les types de données correspondent, les données de tous les fichiers sources sont liées.
-
-
Type de données : Liste le type de données à utiliser pour les données de cette colonne. Le contenu varie selon que l'option Obtenir à partir de l'en-tête de fichier est sélectionnée.
-
Si l'option Rangée d'en-tête de colonne est sélectionnée, Type de données affiche les types de données des colonnes dans le fichier source. Si vous souhaitez modifier le type de données de la cible, cliquez sur le nom et sélectionnez-en un autre dans la liste.
-
Si l'option Rangée d'en-tête de colonne est non sélectionnée, Type de données affiche tous les types de données disponibles. Sélectionnez le type de données à utiliser pour la colonne cible dans la liste.
-
-
Longueur/Précision (Facultatif) : Pour les colonnes dont le type de données est NUMBER, entrez la longueur/précision des nombres dans la colonne. La précision est le nombre de chiffres significatifs dans un nombre. La précision peut aller de 1 à 38.
Pour les colonnes dont le type de données est VARCHAR2, la valeur Automatique du champ Longueur/Précision active la fonction Taille automatique.
Avec la fonction de taille automatique de la largeur de colonne, vous pouvez dimensionner automatiquement n'importe quelle colonne en fonction de la plus grande valeur de la colonne. Sélectionnez Automatique dans la liste déroulante Longueur/Précision ou sélectionnez une valeur dans la liste déroulante.
-
Ajuster (Facultatif) : Pour les colonnes dont le type de données est NUMBER, entrez l'échelle des nombres dans la colonne. L'échelle est le nombre de chiffres à droite (positif) ou à gauche (négatif) du signe décimal. L'échelle peut aller de -84 à 127.
-
Format: If the data type in the Data type column is DATE or one of the TIMESTAMP types, select a format for that type from the from the Format drop-down list.
Onglet Aperçu
Le menu Aperçu du chargement de l'onglet Prévisualisation affiche les données sources sous forme de tableau. L'affichage reflète les paramètres que vous avez sélectionnés dans la section Propriétés. Le menu Fichier affiche les données sources avec les noms de colonne.
Si vous avez glissé un dossier contenant plusieurs fichiers dans le panier du lien de données, puis cliqué sur
Paramètres pour cette carte, le volet Prévisualiser comprend une liste déroulante Objet de prévisualisation (Fichier) en haut du volet qui répertorie tous les fichiers du dossier. Sélectionnez le fichier source à prévisualiser dans cette liste.
Onglet Table
L'onglet Table affiche ce à quoi la table cible doit ressembler une fois les données liées.
Onglet SQL
L'onglet SQL affiche les commandes SQL qui seront exécutées pour terminer cette tâche de lien de données.
Vous pouvez voir le code SQL avant même la création de la table.
Bouton Fermer - Enregistrer et fermer le volet
Après avoir entré tous les détails de la tâche de lien de données, cliquez sur Fermer au bas de la page. Cela enregistre les détails que vous avez entrés et vous ramène au volet Lier les données du stockage en nuage.
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Exécuter la tâche de lien de données
Une fois que vous avez ajouté des sources de données au panier de liens de données et entré des détails sur la tâche de lien de données, vous pouvez exécuter la tâche.
Pour exécuter le travail :
- Si vous ne l'avez pas encore fait, cliquez sur le bouton Fermer du volet Lier les données du stockage en nuage pour enregistrer vos paramètres et fermer le volet. Si l'un des paramètres n'est pas valide, un message d'erreur signale le problème. Corrigez le problème et cliquez sur Fermer.
-
Cliquez sur
Démarrer dans la barre de menu du panier du lien de données. Pour arrêter la tâche de lien de données, cliquez sur
Arrêter.
Une fois la tâche de lien de données terminée, la page Tableau de bord de chargement de données affiche les résultats de la tâche sous la section Chargements de table et de vue.
Une fois la tâche de lien de données démarrée, vous pouvez voir la progression de la tâche dans le tableau de bord de chargement de données.
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Voir les détails de la tâche de lien de données après son exécution
Vous pouvez voir la progression de la tâche dans le tableau de bord de chargement de données.
Une fois la tâche de chargement de données terminée, la page du tableau de bord de chargement de données affiche les résultats de la tâche. En haut de l'en-tête du chargement de table, vous pouvez voir le nom de la table ainsi que le nombre total de colonnes présentes dans la table.
Cliquez sur Rapport de tâche pour voir le nombre total de rangées traitées avec succès et le nombre de rangées rejetées. Vous pouvez également afficher l'heure de début. Le volet SQL de l'état Job Report affiche le code SQL équivalent du travail.
Pour voir les informations sur un élément de la tâche, cliquez sur l'icône Actions du chargement de table.
Pour afficher un journal de l'opération de chargement, cliquez sur l'icône Logging. Vous pouvez enregistrer le journal, l'effacer ou l'actualiser. Cliquez sur OK pour fermer le journal.
Rubrique parent : Liaison à des objets dans le service de stockage en nuage
Voir la table résultant de la tâche de lien de données
Après avoir exécuté une tâche de lien de données, vous pouvez voir la table créée par la tâche de lien de données dans le tableau de bord de chargement de données.
Corrigez votre tâche de chargement de données. Après votre tâche de chargement de données, vous pouvez voir des erreurs que vous souhaitez corriger ou, lors de l'inspection, réaliser que vous vouliez nommer une colonne différemment. Dans ce cas, cliquez sur l'option Recharger du chargement de table sélectionné pour recharger les cartes de votre panier récent et les modifier comme vous l'avez fait avant votre première tentative. L'icône Recharger recharge les données sources avec les correctifs suggérés par l'outil. Cliquez sur l'icône Actions dans l'en-tête de la table, cliquez sur Table et sélectionnez Modifier pour apporter des modifications à la tâche de chargement de données (c.-à-d. modifier le nom d'une colonne).
Rubrique parent : Liaison à des objets dans le service de stockage en nuage