Documentation sur Oracle Cloud Infrastructure

Collecter à partir du service de stockage d'objets Oracle

La collecte est un processus qui extrait les métadonnées techniques de vos ressources de données vers votre catalogue de données. Une ressource de données représente une source de données. Par exemple, une base de données, un magasin d'objets, un magasin de fichiers ou de documents, une file d'attente de messages ou une application.

Dans ce tutoriel, vous allez :

  1. Autoriser le catalogue de données à accéder à tous les objets du service de stockage d'objets Oracle, dans n'importe quel seau ou compartiment de la location où la politique est créée.
  2. Créer une ressource de données du service de stockage d'objets Oracle.
  3. Ajouter une connexion par défaut pour la ressource de données.
  4. Effectuer la collecte de la ressource de données en exécutant la tâche de collecte immédiatement.
Important

Vous pouvez collecter des fichiers de stockage d'objets en tant qu'entités de données logiques.

Avant de commencer

Pour suivre ce tutoriel avec succès, vous devez disposer des éléments suivants :

1. Créer une politique d'accès

Vous créez une politique pour autoriser le catalogue de données à accéder à vos ressources de stockage d'objets.

Vous devez au minimum disposer de l'autorisation READ sur tous les types de ressource individuels objectstorage-namespaces, buckets et objects, ou sur le type de ressource agrégé object-family du service de stockage d'objets.

Pour créer une politique d'accès permettant d'octroyer l'autorisation READ pour le type de ressource agrégé du service de stockage d'objets object-family, procédez comme suit :

  1. Ouvrez le menu de navigation et sélectionnez Identité et sécurité. Under Identity, select Policies.
  2. Dans la page Politiques, cliquez sur Créer une politique.
  3. Dans le panneau Créer une politique, entrez les détails suivants :
    • Nom : Entrez un nom unique pour la politique. Le nom doit être unique parmi toutes les politiques de votre location. Le nom ne peut pas être modifié ultérieurement. Par exemple data-catalog-dynamic-groupe.
    • Description : Entrez une description, par exemple Autoriser l'accès aux ressources de stockage d'objets dans tous les compartiments de la location.
    • Compartiment : Sélectionnez un compartiment dans lequel créer la politique.
    • Générateur de politiques : Dans cette section, déplacez le curseur vers Afficher l'éditeur manuel et entrez la règle de politique. Par exemple, pour le groupe dynamique data-catalog-dynamic-groupe, entrez la règle de politique suivante :
      allow dynamic-group data-catalog-dynamic-group to read object-family in tenancy
      Note

      Cette politique permet l'accès à tout objet, dans n'importe quel seau de n'importe quel compartiment de la location où elle est créée. Pour obtenir d'autres exemples, voir Exemples de politiques.
  4. Cliquez sur Créer.
Vous avez créé la politique permettant au catalogue de données d'accéder à toutes vos ressources de stockage d'objets.

2. Créer une ressource de données

Vous êtes maintenant prêt à enregistrer les sources de données du service Oracle Object Storage dans le catalogue de données en tant que ressource de données .

Pour créer une ressource de données de stockage d'objets, effectuez les étapes suivantes :

  1. Ouvrez le menu de navigation et sélectionnez Analyse et intelligence artificielle. Sous Lac de données, sélectionnez Catalogue de données.
  2. Cliquez sur l'instance de catalogue de données où vous voulez créer votre ressource de données.
  3. Dans la page d'accueil de l'instance de catalogue de données, cliquez sur Créer une ressource de données à partir de la vignette Actions rapides.
    Note

    Après que vous avez créé une instance de catalogue de données, lorsque vous accédez à l'onglet Accueil pour la première fois, le bouton Créer une ressource de données s'affiche dans la vignette ressources de données.
  4. Dans le panneau Créer une ressource de données, entrez les détails indiqués dans le tableau suivant :
    Champ Description
    Nom

    Entrez un nom pour identifier la ressource de manière unique. Vous pourrez modifier ce nom plus tard.

    Vous ne pouvez pas utiliser les caractères spéciaux suivants dans le nom :

    & < > " ' / \ =;

    Le champ Nom est un champ interrogeable dans le catalogue de données.
    Description Spécifiez la raison pour laquelle vous créez cette ressource de données.
    Type Sélectionnez Service de stockage d'objets Oracle.
    URL Entrez l'URI Swift de votre ressource de stockage d'objets Oracle dans le format suivant : https://swiftobjectstorage.<region-identifier>.oraclecloud.com

    Par exemple :

    https://swiftobjectstorage.us-phoenix-1.oraclecloud.com/
    Espace de noms Entrez l'espace de noms de stockage d'objets pour la ressource de stockage d'objets Oracle Cloud Infrastructure indiquée.

    Pour voir votre chaîne d'espace de noms de stockage d'objets dans la console, dans le menu Profil, cliquez sur Location :<your_tenancy_name>. L'espace de noms apparaît sous Paramètres du stockage d'objets.
  5. Cliquez sur Créer.
Vous avez créé une ressource de données du service Oracle Object Storage.

3. Ajouter une connexion

Après avoir créé la ressource de données de stockage d'objets Oracle, vous devez créer une connexion pour cette ressource.

Pour ajouter une connexion pour la ressource de données du service de stockage d'objets Oracle, procédez de la façon suivante :

  1. Dans l'onglet Accueil, cliquez sur Ressources de données.
  2. Dans la liste Ressources de données, sélectionnez la ressource de données du service de stockage d'objets Oracle que vous avez créée.
  3. Dans l'onglet Sommaire de la page Détails de la ressource de données, sous Informations sur la connexion, cliquez sur Ajouter une connexion.
  4. Dans le panneau Ajouter une connexion, entrez les détails indiqués dans le tableau suivant :
    Champ Description
    Nom Entrez un nom unique pour votre connexion.
    Description Entrez une brève description de la connexion.
    Type Sélectionnez une des options suivantes :
    • Principal de ressource : Type de connexion recommandé. Avant de créer une connexion Principal de ressource pour votre ressource de données de stockage d'objets Oracle, vous devez créer une politique qui autorise le catalogue de données à accéder à la ressource de stockage d'objets.
    • Demande préauthentification : Sélectionnez ce type de connexion pour collecter un seau de stockage d'objets public ou privé auquel vous accédez au moyen d'une demande préauthentification. Lorsque vous sélectionnez ce type de connexion, le champ URL de la demande préauthentification s'affiche. Entrez l'URL de la demande préauthentification pour accéder au seau de stockage d'objets. Pour plus d'informations sur l'utilisation de ce type de connexion, voir Utilisation de demandes préauthentifiées.
    Région OCI Entrez l'identificateur de région de votre ressource de stockage d'objets.

    Pour voir l'identificateur de votre région dans la console, cliquez sur Location : <your_tenancy_name> dans le menu Profil. Dans la bannière d'information Gérer les régions, cliquez sur Gérer les régions. Les noms et identificateurs des régions sont listés.
    Compartiment Sélectionnez le compartiment de votre ressource de stockage d'objets.

    Pour voir le compartiment, dans la console, ouvrez le menu de navigation et cliquez sur Identité et sécurité. Sous Identité, cliquez sur Compartiments. Cliquez sur le lien du compartiment pour votre ressource de stockage d'objets. Dans la page Détails du compartiment, copiez l'OCID figurant dans l'onglet Informations sur le compartiment.
    Définir cette connexion comme connexion par défaut pour la ressource de données. Sélectionnez cette case pour que cette connexion soit la connexion par défaut pour la ressource de données.
    Tester la connexion Cliquez sur ce bouton pour tester votre connexion.
  5. Cliquez sur Ajouter.

4. Collecter la ressource de données

Vous êtes maintenant prêt à effectuer la collecte de votre ressource de données de stockage d'objets Oracle.

Pour effectuer la collecte de la ressource de données de stockage d'objets Oracle, réalisez les opérations suivantes :

  1. Dans la page des détails de la ressource de données, cliquez sur Collecter.
    La page Sélectionner une connexion s'affiche avec la connexion par défaut sélectionnée.
  2. Cliquez sur Suivant.
    La page Sélectionner les entités de données s'affiche.
  3. Dans la section Seau disponible, ajoutez les entités de données à collecter. Pour ajouter une entité de données, cliquez sur l'icône d'ajout située à côté de celle-ci. Pour collecter toutes les entités de données, cliquez sur Tout ajouter.
    Les autres opérations que vous pouvez effectuer dans cette page sont les suivantes :
    • Pour trouver une entité de données parmi les entités disponibles, utilisez la zone Filtrer les seaux/entités de données.
    • Utilisez les icônes de navigation dans les pages pour parcourir toutes les entités de données.
    • Pour supprimer une entité de données sélectionnée de la tâche de collecte, cliquez sur l'icône de suppression à côté de l'entité de données.
    • Pour supprimer toutes les entités de données sélectionnées, cliquez sur Tout supprimer.
  4. Cliquez sur Suivant.
    La page Créer une tâche s'affiche.
  5. Dans cette page, effectuez les opérations suivantes :
    1. Nom de la tâche : Entrez un nom unique pour identifier la tâche de collecte.
    2. Description de la tâche : Entrez une description.
    3. Collecte incrémentielle : Cochez cette case si vous souhaitez que les exécutions suivantes de cette tâche de collecte portent uniquement sur les entités de données qui ont été modifiées à partir de la première exécution.
    4. Inclure les fichiers non reconnus : Cochez cette case pour collecter une entité de données logique composée uniquement de fichiers archivés, ou tout autre fichier non pris en charge par le service de catalogue de données. Par exemple, .log, .txt, .sh, .jar et .pdf.
    5. Inclure les fichiers correspondants seulement : Cochez cette case si vous voulez que le service de catalogue de données collecte uniquement les fichiers correspondant aux modèles de nom de fichier affectés. Lorsque vous sélectionnez cette case à cocher, les fichiers qui ne correspondent pas aux modèles de nom de fichier affectés sont ignorés lors de la collecte. Ils sont ajoutés au nombre d'éléments ignorés.
    6. P moment de l'exécution : Dans cette section, sélectionnez l'une des options suivantes :
      • Exécuter la tâche maintenant : Crée une tâche de collecte et l'exécute sur-le-champ.
      • Programmer l'exécution de la tâche : Affiche des champs supplémentaires pour programmer la tâche de collecte. Entrez un nom et une description pour la programmation. Spécifiez la fréquence d'exécution de la tâche. Les choix offerts sont : Horaire, Quotidien, Hebdomadaire et Mensuel. Enfin, sélectionnez l'heure de début et de fin de la tâche.
      • enregistrer les configurations de la tâche pour plus tard : Crée une tâche pour la collecte de la ressource de données, mais la tâche n'est pas exécutée. Vous pourrez exécuter ou programmer la tâche plus tard, à partir de la page Tâches.
  6. Cliquez sur Créer une tâche.
    La tâche de collecte de la ressource de données de stockage d'objets Oracle a été créée. La tâche est listée dans la page Tâches.
La ressource de données est collectée selon le programme que vous avez sélectionné. Vous pouvez vérifier les détails de la tâche de collecte en cliquant sur le nom de celle-ci dans la page Tâches.