Liaison vers des objets dans le stockage cloud
Lorsque vous créez un lien vers des fichiers dans un bucket de banque cloud à partir de votre base de données autonome Oracle, vous créez une table externe qui établit un lien vers les fichiers dans la banque cloud.
Vous pouvez créer un lien vers les fichiers aux formats suivants : AVRO, CSV, JSON, GeoJSON, Parquet, ORC, texte séparé. Pour plus d'informations sur les formats de fichier pris en charge, reportez-vous à Spécifications de format pour les fichiers JSON, AVRO et XML.
Configurez et exécutez un travail de liaison de données sur la page Lier l'objet cloud. Pour ouvrir cette page :
- Ouvrez la fenêtre de lancement de Database Actions, cliquez sur l'onglet Data Studio et sélectionnez le menu Chargement des données. Reportez-vous à la section Page de chargement des données.
- Sélectionnez LINK DATA et CLOUD STORE.
Sur le côté gauche de la page se trouve le panneau du navigateur, dans lequel vous pouvez choisir la connexion à la banque cloud, et les dossiers ou fichiers contenant les données. A droite de la page se trouve le panier de chargement des données, dans lequel vous préparez les fichiers et les dossiers pour le travail de liaison de données. Vous pouvez définir des options pour le travail de liaison de données avant de l'exécuter. Autonomous Database est fourni avec des parts d'UC et d'E/S prédéfinies affectées à différents groupes de destinataires. Vous pouvez définir le groupe de destinataires sur faible, moyen ou élevé lors de l'exécution d'un travail de chargement des données en fonction de votre charge globale.
- Gestion des liens de stockage cloud pour les travaux de liaison de données
Pour pouvoir créer un lien vers les données d'une banque cloud, vous devez établir une connexion à la banque cloud à utiliser. - Préparation du travail de liaison de données
- Ajout de fichiers ou de dossiers au travail de liaison de données
- Saisie des détails du travail de liaison de données
Saisissez les détails du travail de liaison de données dans le panneau Lier les données à partir du stockage cloud. - Exécution du travail de lien de données
Une fois que vous avez ajouté des sources de données au panier de lien de données et saisi les détails relatifs au travail de lien de données, vous pouvez exécuter le travail. - Affichage des détails du travail de liaison de données après son exécution
Vous pouvez visualiser la progression du travail dans le tableau de bord de chargement des données. - Affichage de la table obtenue à partir du travail de liaison de données
Après avoir exécuté un travail de liaison de données, vous pouvez visualiser la table créée par le travail de liaison de données dans le tableau de bord de chargement de données.
Thème parent : Liaison de données
Gestion des liens de stockage cloud pour les travaux de liaison de données
Pour pouvoir créer un lien vers les données d'une banque cloud, vous devez établir une connexion à la banque cloud à utiliser.
Sur la page Lier l'objet cloud, procédez comme suit :
-
Cliquez sur l'icône Gérer la banque cloud en regard du champ dans lequel vous entrez l'emplacement de la banque cloud. Sélectionnez + Créer un emplacement de banque cloud.
-
Saisissez vos informations dans le panneau Ajouter un emplacement de banque cloud. Voir pour ajouter un emplacement de stockage cloud.
Reportez-vous à Gestion des connexions.
Pour revenir à la page Lier l'objet cloud, cliquez sur Chargement des données dans les chemins de navigation en haut de la page, puis revenez à la page.
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Préparation du travail de liaison de données
Vous devrez peut-être ajuster les données source ou la table cible afin que les données source soient correctement liées à la table cible externe. Utilisez :
-
Si vous créez des liens vers plusieurs fichiers, assurez-vous que les conditions suivantes sont remplies :
-
Tous les fichiers source sont du même type, par exemple, CSV, JSON, etc.
-
Le nombre de colonnes, leur ordre et les types de données qu'elles contiennent dans tous les fichiers source correspondent.
-
-
Si vous voulez effectuer un partitionnement par date, procédez comme suit :
-
Le fichier source doit contenir des données de type date ou horodatage.
-
Vous devez charger un dossier contenant au moins deux sources de données.
-
Les noms des fichiers dans le dossier doivent indiquer une ou plusieurs dates, par exemple
MAR-1999.csv
ou2017-04-21.xlsx
.
-
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Ajout de fichiers ou de dossiers au travail de liaison de données
Ajoutez des fichiers de la banque cloud au panier de liaison de données, dans lequel vous pouvez modifier les détails du travail de liaison de données. Pour ajouter les fichiers, procédez comme suit :
-
Dans la liste située en haut du panneau du navigateur situé à gauche, sélectionnez le bucket avec vos données source.
La liste affiche les liens établis sur la page Gérer le stockage cloud. Si vous n'avez pas encore inscrit la banque cloud à utiliser, cliquez sur le bouton Connexions sous le menu Chargement de données de la suite d'outils Data Studio et inscrivez une connexion.
-
Faites glisser des éléments du navigateur de fichiers sur la gauche et déposez-les dans le panier à droite.
-
Vous pouvez ajouter des fichiers, des dossiers ou les deux. Une carte est ajoutée au panier pour chaque fichier ou dossier que vous y faites glisser. La carte indique le nom du fichier ou dossier source, et le nom proposé pour la table cible.
-
Si vous ajoutez un dossier contenant plusieurs fichiers, tous les fichiers doivent être du même type, à savoir CSV, TXT, etc.
Lorsque vous ajoutez le dossier au panier, une invite vous demande si vous voulez charger tous les objets des différents fichiers source dans une seule table cible. Cliquez sur Oui pour continuer ou sur Non pour annuler.
-
Lorsque vous ajoutez plusieurs fichiers individuels ou plusieurs dossiers au panier, les données représentées par chaque carte sont chargées dans une table séparée, mais tous les éléments du panier sont traités dans le cadre du même travail de chargement des données.
-
Vous pouvez ajouter des fichiers ou des dossiers d'un autre bucket, mais si vous le faites, vous êtes invité à enlever tous les fichiers qui se trouvent déjà dans le panier avant de poursuivre. Pour sélectionner les fichiers d'un autre bucket, sélectionnez ce dernier dans la liste déroulante du panneau du navigateur à gauche, puis ajoutez les fichiers, comme décrit ci-dessus.
-
Vous pouvez déposer des fichiers ou des dossiers dans le panier de chargement des données, puis quitter la page de l'objet de liaison de données. Lorsque vous revenez sur la page, ces éléments restent sur la page, mais vous pouvez recevoir le message "Enlevez tous les éléments de données. Le passage à un autre emplacement de stockage cloud requiert la suppression de tous les éléments du travail de chargement des données. Voulez-vous continuer ?" Cliquez sur Oui pour enlever les éléments du panier. Cliquez sur Non pour conserver les éléments dans le panier. Ensuite, vous pouvez continuer à travailler.
-
Vous pouvez enlever des éléments du panier avant d'exécuter le travail de liaison de données :
-
Pour enlever un élément du panier, sélectionnez Enlever sur la carte de la barre de menu Lien de données de l'élément en haut du panneau.
-
Pour enlever tous les éléments du panier, cliquez sur Tout enlever dans la barre de menu du panier de liaison de données située en haut du panneau.
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Saisie des détails du travail de liaison de données
Saisissez les détails du travail de liaison de données dans le panneau Lier les données à partir du stockage cloud.
Sur la carte du panier de liaison de données, cliquez sur Paramètres pour ouvrir le panneau Lier des données à partir du stockage cloud de ce travail. Le panneau contient les éléments suivants :
Onglet Paramètres - Section Table
Définissez les détails de la table cible dans la section Table.
- Nom : nom de la table cible.
-
Colonne de partition :
Les partitions par liste et par date sont les différents types de partition disponibles dans la liaison de données.
Le partitionnement par liste est requis lorsque vous voulez spécifiquement mettre en correspondance des lignes avec des partitions en fonction de valeurs discrètes.
Pour partitionner en fonction d'une colonne spécifique, cliquez sur la liste déroulante Colonne de partition et sélectionnez la colonne à utiliser pour le partitionnement.
Vous aurez N fichiers par valeur de partition, tous partitionnés selon la colonne de partition sélectionnée.
Remarque
- Pour les fichiers liés (de tables externes), il est également nécessaire que pour chaque fichier, la colonne de partitionnement par liste ne contienne qu'une seule valeur distincte sur toutes les lignes.
- Si un fichier est partitionné par liste, la clé de partitionnement ne peut comporter qu'une seule colonne de la table.
Le partitionnement par date est disponible lorsque vous liez un dossier contenant au moins deux sources de données dont les colonnes comportent des données de date ou d'horodatage.
Pour effectuer un partitionnement selon la DATE, cliquez sur la liste déroulante Colonne de partition et sélectionnez la colonne DATE ou TIMESTAMP à utiliser pour le partitionnement.
-
Type de validation : la validation permet d'examiner les fichiers source, les informations de partitionnement facultatives et les lignes d'état qui ne correspondent pas aux options de format spécifiées. Sélectionnez Aucun pour n'effectuer aucune validation, Exemple pour effectuer une validation sur la base d'un exemple de données ou Complet pour exécuter une validation sur la base de toutes les données.
- Utiliser des caractères génériques : cette case à cocher permet d'utiliser des caractères génériques dans les conditions de recherche afin d'extraire un groupe spécifique de fichiers correspondant aux critères de filtre.
Vous pouvez utiliser un caractère générique, comme un astérisque (*) qui recherche, filtre et indique des groupes de fichiers qui détectent et ajoutent de nouveaux fichiers à la table externe.
Par exemple, si vous saisissez file*, file01, file02, file03, etc. sont considérés comme des correspondances du mot-clé. L'astérisque (*) met en correspondance au moins zéro caractère parmi toutes les possibilités associées au mot-clé.
Remarque
La prise en charge des caractères génériques n'est pas compatible avec le partitionnement. La validation du fichier source échoue si vous utilisez des caractères génériques avec des données partitionnées.
Onglet Paramètres - Section Propriétés
Indiquez des options pour contrôler la façon dont les données source sont interprétées, prévisualisées et traitées. Ces options varient selon le type de données source.
-
Encodage : sélectionnez un type d'encodage de caractères dans la liste. Cette option est disponible lorsque le fichier lié est au format texte brut (CSV, TSV ou TXT. Le type par défaut est UTF-8.
-
Délimitation de texte : sélectionnez le caractère de délimitation de texte : " (apostrophe), ' (apostrophe) ou Aucun. Cette option n'est visible que lorsque le fichier sélectionné est au format texte brut (CSV, TSV ou TXT).
-
Séparateur de champ : sélectionnez le caractère séparateur utilisé pour séparer les colonnes dans la source. Par exemple, si le fichier source utilise des virgules pour délimiter les colonnes, sélectionnez Point-virgule dans cette liste. La valeur par défaut est Vvirgule. Cette option n'est visible que lorsque le fichier sélectionné est au format texte brut (CSV, TSV ou TXT).
-
Démarrer le traitement des données à la ligne : indique le nombre de lignes à ignorer lors de la liaison des données source à la table externe cible.
-
Si vous sélectionnez l'option Ligne d'en-tête de colonne sous Nom de colonne source (voir ci-dessous) et que vous saisissez un nombre supérieur à 0 dans le champ Démarrer le traitement des données sur la ligne, après la première ligne, ce nombre de lignes n'est pas lié à la cible.
-
Si vous désélectionnez l'option Ligne d'en-tête de colonne sous Nom de colonne source et que vous saisissez un nombre supérieur à 0 dans le champ Démarrer le traitement des données à la ligne, ce nombre de lignes, y compris la première ligne, n'est pas lié à la cible.
-
-
Nom de colonne source : cochez la case Ligne d'en-tête de colonne pour utiliser les noms de colonne de la table source dans la table cible.
-
Si vous sélectionnez cette option, les éléments de la première ligne du fichier sont traités en tant que noms de colonne. Les lignes de la section Mapping, ci-dessous, sont remplies avec ces noms (et avec les types de données existants, sauf si vous les modifiez).
-
Si vous désélectionnez cette option, la première ligne est traitée en tant que données. Pour indiquer les noms de colonne manuellement, saisissez un nom pour chaque colonne cible dans la section Mapping. (Vous devrez également saisir des types de données.)
-
-
Colonne numérique : cochez la case Convertir les données non valides en valeurs NULL pour convertir une valeur de colonne numérique non valide en valeur NULL.
-
Nouvelles lignes incluses dans les valeurs de données : sélectionnez cette option s'il existe des caractères de retour à la ligne ou s'il revient au début de la ligne en cours sans avancer vers le bas dans les champs de données. La sélection de cette option augmente le temps nécessaire au traitement du chargement. Si vous ne sélectionnez pas cette option lors du chargement des données, les lignes contenant des nouvelles lignes dans les champs seront rejetées. Vous pouvez afficher la ligne rejetée dans le panneau Rapport sur les travaux.
Onglet Paramètres - Section Mapping
Les paramètres de la section Mise en correspondance contrôlent la façon dont les données des fichiers source sont liées aux lignes de la table externe cible. Pour chaque ligne, les données de la colonne répertoriée sous Colonne source seront liées à la colonne répertoriée sous Colonne cible.
-
Colonne source : répertorie les colonnes du fichier source.
Si l'option Ligne d'en-tête de colonne sous Propriétés est sélectionnée, la colonne source affiche les noms des colonnes dans le fichier source. Si l'option Ligne d'en-tête de colonne n'est pas sélectionnée, des noms génériques tels que COLUMN_1, COLUMN_2, etc., sont utilisés. Ce champ est toujours en lecture seule.
Vous pouvez visualiser deux colonnes source
FILE$NAME
etSYSTIMESTAMP
. La colonneFILE$NAME
vous permet de localiser le fichier source contenant un enregistrement de données particulier. Par exemple, vous chargez un fichier source contenant une liste de fichiers. Les noms de fichier dans la liste des fichiers font référence aux noms de service dans toute l'organisation. Par exemple, un fichier finance.txt contient des données du service financier. Dans le mapping, vous pouvez utiliser des types de données de type chaîne pour extraire le nom du service à partir de la sortie de la colonne de nom de fichier. Vous pouvez utiliser le nom de service extrait pour traiter les données différemment pour chaque service.La colonne
SYSTIMESTAMP
permet d'afficher l'horodatage en cours dans la base de données.Remarque
- Les colonnes source
FILE$NAME
etSYSTIMESTAMP
ne sont pas incluses par défaut. Vous devez cocher la case Inclure et exécuter le chargement de la table cible pour afficher ces deux colonnes. - Lorsque vous créez un flux en direct, les colonnes source
FILE$NAME
etSYSTIMESTAMP
apparaissent par défaut dans la table Correspondances.
- Les colonnes source
-
Colonne cible : répertorie les colonnes de la table cible.
-
Si l'option Ligne d'en-tête de colonne est sélectionnée, la colonne cible utilise les noms des colonnes dans le fichier source. Vous pouvez modifier le nom d'une colonne cible en remplaçant le nom fourni par un nouveau nom. Vous devez vous assurer que la colonne cible n'est pas vide. Le nom de la colonne cible ne doit pas être un doublon d'une autre colonne cible. Le nom de la colonne cible ne peut pas avoir un nom en double en tant qu'autre colonne cible. La longueur de la colonne cible ne doit pas dépasser 128 octets. La limite de 128 octets est une limite de base de données.
-
Si l'option Ligne d'en-tête de colonne n'est pas sélectionnée, des noms génériques tels que COLUMN_1, COLUMN_2, etc., sont utilisés. Vous pouvez modifier le nom d'une colonne cible en remplaçant le nom fourni par un nouveau nom.
Remarque
Si vous liez plusieurs fichiers d'un dossier dans un seul travail de liaison de données, seul le premier fichier apparaît dans la section Mapping. Toutefois, tant que les noms de colonne et les types de données correspondent, les données de tous les fichiers source sont liées.
-
-
Type de données : type de données à utiliser pour les données de cette colonne. Le contenu change selon que l'option Obtenir à partir de l'en-tête de fichier est sélectionnée ou non.
-
Si l'option Ligne d'en-tête de colonne est sélectionnée, le type de données affiche les types de données des colonnes dans le fichier source. Si vous voulez modifier le type de données de la cible, cliquez sur son nom et sélectionnez-en un autre dans la liste.
-
Si l'option Ligne d'en-tête de colonne n'est pas sélectionnée, le champ Type de données affiche tous les types de données disponibles. Sélectionnez le type de données à utiliser pour la colonne cible dans la liste.
-
-
Longueur/Précision (facultatif) : pour les colonnes dont le type de données est NUMBER, saisissez la longueur/la précision pour les nombres de la colonne. La précision correspond au nombre de chiffres significatifs d'un nombre. La précision doit être comprise entre 1 et 38.
Pour les colonnes dont le type de données est VARCHAR2, la valeur Automatique du champ Longueur/Précision active la fonctionnalité de dimensionnement automatique.
Avec la fonction Dimensionnement automatique, vous pouvez dimensionner automatiquement les colonnes afin qu'elles contiennent la valeur la plus grande. Sélectionnez Automatique dans les valeurs de la liste déroulante longueur/précision ou choisissez une valeur dans la liste déroulante.
-
Redimensionnement (facultatif) : pour les colonnes dont le type de données est NUMBER, saisissez l'échelle pour les nombres de la colonne. L'échelle correspond au nombre de chiffres à droite (positif) ou à gauche (négatif) du séparateur décimal. L'échelle peut être comprise entre -84 et 127.
-
Format : si le type de données dans la colonne Type de données est DATE ou l'un des types TIMESTAMP, sélectionnez un format pour ce type dans la liste déroulante Format.
Onglet Aperçu
Le menu Aperçu du chargement de l'onglet Aperçu affiche les données source sous forme de tableau. L'affichage reflète les paramètres choisis dans la section Propriétés. Le menu Fichier affiche les données source avec les noms de colonne.
Si vous avez fait glisser un dossier contenant plusieurs fichiers dans le panier de liaison de données, puis cliqué sur Paramètres pour cette carte, le panneau Aperçu inclut une liste déroulante Aperçu de l'objet (fichier) en haut du panneau qui répertorie tous les fichiers du dossier. Sélectionnez dans la liste le fichier source que vous voulez prévisualiser.
Onglet Table
L'onglet Table affiche l'apparence attendue de la table cible une fois les données liées.
Onglet SQL
L'onglet SQL affiche les commandes SQL qui seront exécutées pour effectuer ce travail de lien de données.
Vous pouvez voir le code SQL avant même la création de la table.
Bouton Fermer - Enregistrement et fermeture du panneau
Après avoir saisi tous les détails du travail de liaison de données, cliquez sur Fermer au bas de la page. Les détails que vous avez saisis sont enregistrés et vous revenez au panneau Lier les données à partir du stockage cloud.
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Exécution du travail de liaison de données
Une fois que vous avez ajouté des sources de données au panier de liaison de données et saisi les détails relatifs au travail de liaison de données, vous pouvez exécuter le travail.
Pour exécuter le travail, procédez comme suit :
- Si vous ne l'avez pas encore fait, cliquez sur le bouton Fermer dans le panneau Lier les données à partir du stockage cloud pour enregistrer les paramètres et fermer le panneau. Si l'un des paramètres n'est pas valide, un message d'erreur signale le problème. Corrigez le problème et cliquez sur Fermer.
-
Cliquez sur
Démarrer dans la barre de menus du panier de liaison de données. Pour arrêter le travail de liaison de données, cliquez sur
arrêter.
Une fois le travail de lien de données terminé, la page Tableau de bord de chargement des données affiche les résultats du travail sous la section Chargements de table et de vue.
Une fois le travail de liaison de données démarré, vous pouvez visualiser la progression du travail dans le tableau de bord Chargement des données.
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Affichage des détails du travail de liaison de données après son exécution
Vous pouvez visualiser la progression du travail dans le tableau de bord Chargement des données.
Une fois le travail de chargement des données terminé, la page de tableau de bord Chargement des données affiche les résultats du travail. En haut de l'en-tête du chargement de table, vous pouvez afficher le nom de la table ainsi que le nombre total de colonnes présentes dans la table.
Cliquez sur Rapport sur les travaux pour visualiser le nombre total de lignes traitées avec succès et le nombre de lignes rejetées. Vous pouvez également afficher l'heure de début. Le volet SQL du rapport sur les travaux affiche le code SQL équivalent du travail.
Pour afficher des informations sur un élément du travail, cliquez sur l'icône Actions sur le chargement de table.
Pour afficher le journal de l'opération de chargement, cliquez sur l'icône Journalisation. Vous pouvez enregistrer le journal, l'effacer ou l'actualiser. Cliquez sur OK pour abandonner le journal.
Rubrique parent : Création de liens vers des objets dans Cloud Storage
Affichage de la table obtenue à partir du travail de liaison de données
Après avoir exécuté un travail de liaison de données, vous pouvez visualiser la table créée par le travail de liaison de données dans le tableau de bord Chargement de données.
Corrigez le travail de chargement de données. Après le travail de chargement des données, vous pouvez voir des erreurs à corriger ou, lors d'une inspection, vouloir nommer différemment une colonne. Dans ce cas, cliquez sur l'option Recharger sur le chargement de table sélectionné pour recharger les cartes de votre panier récent et les modifier comme avant votre première tentative. L'icône Recharger recharge les données source avec les corrections suggérées par l'outil. Cliquez sur l'icône Actions dans l'en-tête de table, cliquez sur Table et sélectionnez Modifier pour apporter des modifications au travail de chargement des données (par exemple, pour modifier le nom d'une colonne).
Rubrique parent : Création de liens vers des objets dans Cloud Storage