Documentation sur Oracle Cloud Infrastructure

Recevoir des avis pour les événements de collecte de catalogue de données

Dans ce tutoriel, vous configurez le service d'événements pour Oracle Cloud Infrastructure pour qu'un courriel vous soit envoyé chaque fois qu'une tâche de collecte de catalogue de données démarre, réussit ou échoue dans un compartiment spécifique. Les tâches principales sont les suivantes :

  • Créer des sujets et des abonnements.
  • Écrire des règles pour recevoir des avis par courriel pour les événements.
  • Créer des seaux contenant des données.
  • Collecter des données dans le catalogue de données.

Avant de commencer

Pour suivre ce tutoriel avec succès, vous devez disposer des éléments suivants :

Si vous avez des droits administratifs sur votre compte, ignorez le reste de cette section. Sinon, demandez à votre administrateur d'ajouter la politique suivante à votre compte :
allow group <the-group-your-username-belongs> to manage all-resources in compartment catalog-compartment

Pour obtenir des exemples, voir Politiques communes.

Note

Dans la section suivante, vous allez créer un compartiment pour vos instances de catalogue de données, nommé catalog-compartment.

1. Configurer un avis

Dans cette section, vous allez configurer le service d'avis pour inscrire votre courriel à un abonnement personnalisé. Plus tard, vous utiliserez cet abonnement pour recevoir des avis dans votre compte de courriel.

Créer un compartiment

Créez un compartiment pour les instances de catalogue de données, les événements et les avis.

  1. Ouvrez le menu de navigation et sélectionnez Identité et sécurité. Sous Identité, sélectionnez Compartiments.
  2. Cliquez sur Créer un compartiment.
  3. Indiquez les informations suivantes :
    • Name: catalog-compartment
    • Description : Compartment for data catalogs.
    • compartiment parent : <your-tenancy>(root)
  4. Cliquez sur Créer un compartiment.

Vous avez créé un compartiment pour vos ressources de catalogue de données.

Créer un sujet
  1. Ouvrez le menu de navigation et sélectionnez Services de développement. Sous Intégration d'applications, sélectionnez Avis.
  2. Dans le panneau de gauche, pour compartiment, sélectionnez catalog-compartment.
    Actualisez le menu de navigation de gauche si la section Compartiment ne contient pas catalog-compartment.
    Note

    Assurez-vous de sélectionner ce compartiment pour toutes les ressources que vous créez dans ce tutoriel.
  3. Cliquez sur Créer un sujet.
  4. Indiquez les informations suivantes :
    • Name: catalog-topic
    • Description : Topic for data catalog harvest events.
  5. Cliquez sur Créer.
Vous avez créé un sujet pour vos notifications.
Créer un abonnement
  1. Dans le service d'avis, dans la liste des sujets, cliquez sur catalog-topic.
  2. Cliquez sur Créer un abonnement.
  3. Indiquez les informations suivantes :
    • Protocole : Courriel
    • Adresse de courriel : <your-email>
  4. Cliquez sur Créer.
  5. Vérifiez dans votre compte de courriel si vous avez un reçu un courriel avec l'objet : noreply@notification.<your-region>.oci.oraclecloud.com
  6. Cliquez sur le lien Confirmer l'abonnement dans le courriel.
    Une page avec le message suivant s'affiche dans le navigateur :

    Vous avez abonné <your-email> au sujet : catalog-topic.

  7. Dans la console, attendez que le statut de l'abonnement passe de en attente à actif.
Vous avez créé un abonnement par courriel à votre sujet.

2. Définir une règle d'événement

Dans cette section, vous définissez une règle dans le service Événements pour qu'un courriel vous soit envoyé chaque fois qu'une tâche de collecte commence, réussit ou échoue dans votre compartiment.

Créer une règle
  1. Ouvrez le menu de navigation et sélectionnez Observabilité et gestion. Sous Service d'événements, sélectionnez Règles.
  2. Cliquez sur Créer une règle.
  3. Indiquez les informations suivantes :
    • Nom d'affichage : catalog-harvest-rule
    • Description : Receive an email when a harvest job starts, succeeds or fails in the catalog-compartment.
    • Conditions de règle :
      • Condition : Type d'événement
      • Nom du service : Catalogue de données
      • Type d'événement : Collecte - Début
      • Type d'événement : Collecte - Fin
      Note

      Assurez-vous de sélectionner Harvest-Begin et Harvest-End.
  4. Cliquez sur + Une autre condition.
  5. Indiquez les informations suivantes :
    • Conditions de règle :
      • Condition : Attribut
      • Nom d'attribut : CompartmentName
      • V valeurs d'attribut catalog-compartment

    La logique de règle est automatiquement alimentée :

    MATCH event WHERE (
eventType EQUALS ANY OF (
com.oraclecloud.datacatalog.harvestjob.end,
com.oraclecloud.datacatalog.harvestjob.begin
)
AND (
compartmentName MATCHES ANY OF (
laleh-catalog-compartment
)
)
)
  6. Dans la section Actions, indiquez les informations suivantes :
    • Type d'action : Avis
    • Compartiment des avis : catalog-compartment
    • Sujet : catalog-topic
  7. Cliquez sur Créer une règle.
Vous avez créé une règle d'événement pour les tâches de collecte de votre catalogue de données.

3. Créer un seau contenant des données

Dans cette section, vous créez un seau dans le service de stockage d'objets. Ensuite, vous ajoutez des données au seau.

Créer un seau

Créez un seau dans le service de stockage d'objets.

  1. Ouvrez le menu de navigation et sélectionnez Stockage. Sous Stockage d'objets et stockage d'archives, sélectionnez Seaux.
  2. Cliquez sur Créer un seau.
  3. Indiquez les informations suivantes :
    • Nom : catalog-bucket
    • Laissez la valeur par défaut dans les autres champs.
  4. Cliquez sur Créer un seau.
Vous avez créé un seau pour vos données.
Ajouter des données au seau
  1. Dans le service de stockage d'objets, dans la liste des seaux, cliquez sur catalog-bucket.
  2. Cliquez sur Charger.
  3. Sélectionnez les deux images que vous avez préparées dans la section Avant de commencer.
  4. Cliquez sur Charger puis sur Fermer.
    Les deux images apparaissent dans la liste des objets.
Vous avez ajouté des données à votre seau.
Donner au catalogue de données l'accès au seau
Dans cette section, vous donnez au service de catalogue de données l'accès aux ressources de stockage d'objets dans catalog-compartment. Cette politique permet aux instances du catalogue de données de télécharger des métadonnées à partir de catalog-bucket.
  1. Ouvrez le menu de navigation et sélectionnez Identité et sécurité. Under Identity, select Policies.
  2. Cliquez sur Créer une politique.
  3. Indiquez les informations suivantes :
    • Name: catalog-policy
    • Description : Allow Data Catalog to access Object Storage resources.
    • Dans la section Générateur de politiques, cliquez sur Personnalisation (Avancée).
  4. Collez la politique suivante dans le générateur de politiques : 
    allow service datacatalog to read object-family in compartment catalog-compartment
  5. Cliquez sur Créer.
Vous avez créé une politique permettant au catalogue de données d'accéder aux ressources de stockage d'objets, y compris les seaux.

4. Collecter le seau

Dans cette section, vous allez créer une instance de catalogue de données. Ensuite, vous connecterez l'instance de catalogue de données à votre seau et collecterez des métadonnées à partir de celui-ci. Enfin, vous consulterez vos avis par courriel concernant les tâches de collecte.

Recueillir les informations requises

Préparez les informations dont vous avez besoin et copiez-les dans un bloc-notes.

Recherchez les informations suivantes dans la console :

  • ID compartiment : <compartment-ocid>
    • Dans la barre de recherche de la console, entrez catalog-compartment.
    • Cliquez sur catalog-compartment dans les résultats de recherche.
    • Copiez l'OCID.
  • région (OCI) : <region-identifier>
    • Dans la barre de navigation supérieure, recherchez <your-region>. Exemple : US West (Phoenix).
    • Dans la barre de navigation supérieure, accédez à l'icône Profil et cliquez sur Tenancy: <your tenancy>.
    • Cliquez sur Gérer les régions.
    • Dans la liste des régions, recherchez <region-identifier> pour <your-region>. Exemple : us-phoenix-1.
  • URL: <object-storage-swift-URI>
    • Copiez la chaîne suivante :
      https://swiftobjectstorage.<region-identifier>.oraclecloud.com
    • Remplacez <region-identifier> par les informations recueillies pour Région.
  • espace de noms : <object-storage-namespace>
    • Dans la barre de navigation supérieure, accédez à l'icône Profil et cliquez sur Tenancy: <your tenancy>.
    • Copiez la valeur de Espace de noms du stockage d'objets.
Créer une instance de catalogue de données
  1. Ouvrez le menu de navigation et sélectionnez Analyse et intelligence artificielle. Sous Lac de données, sélectionnez Catalogue de données.
  2. Cliquez sur Créer un catalogue de données.
  3. Indiquez les informations suivantes :
    • Créer dans le compartiment : catalog-compartment
    • Name: catalog-instance-1
    • Laissez la valeur par défaut dans les autres champs.
  4. Cliquez sur Créer un catalogue de données.
Vous avez créé une instance de catalogue de données.
Créer une ressource de données
  1. Dans le service Catalogue de données, dans la liste des instances de catalogue de données, cliquez sur catalog-instance-1.
  2. Dans la vignette Quick Actions (Actions rapides), sélectionnez Create Data Asset (Créer une ressource de données).
  3. Indiquez les informations suivantes :
    • Nom : object-storage-data-asset
  4. Pour Type, sélectionnez Service de stockage d'objets Oracle
  5. Utilisez les informations de la section Recueillir les informations requises pour les champs suivants :
    • URL: https://swiftobjectstorage.<region-identifier>.oraclecloud.com
    • espace de noms : <object-storage-namespace>
  6. Cliquez sur Créer.
Vous avez créé une ressource de données dans votre instance de catalogue de données.
Connexion au seau
Connectez catalog-bucket à catalog-instance-1.
  1. Dans la page d'accueil de catalog-instance-1, allez à la vignette Récemment mise à jour et sélectionnez object-storage-data-asset.
  2. Sous Connexions, cliquez sur Ajouter une connexion.
  3. Indiquez les informations suivantes :
    • Nom : catalog-bucket-connection
  4. Pour Type, sélectionnez S2S Principal
  5. Utilisez les informations de la section Recueillir les informations requises pour les champs suivants :
    • région OCI : <region-identifier>
    • OCID du compartiment : <compartment-ocid>
  6. Sélectionnez Définir cette connexion comme connexion par défaut pour la ressource de données.
  7. Cliquez sur Tester la connexion.
  8. Cliquez sur Ajouter.
Vous avez connecté un seau à votre instance de catalogue de données.
Collecter le seau
  1. Dans la page d'accueil de catalog-instance-1, allez à la vignette Récemment mise à jour et sélectionnez object-storage-data-asset.
  2. Cliquez sur Collaborer.
  3. Pour Sélectionner une étape de connexion, sélectionnez catalog-bucket-connection, puis cliquez sur Suivant.
  4. À l'étape Sélectionner des entités de données, procédez de la façon suivante :
    • Affichez le contenu du seau : cliquez sur catalog-bucket.
    • Ajoutez les métadonnées de toutes les images dans le catalogue : cliquez sur Tout ajouter.
    • Cliquez sur Suivant.
  5. Complétez ou sélectionnez les champs suivants :
    • Nom de la tâche : harvest-catalog-bucket
    • Inclure les fichiers non reconnus : sélectionné
    • Laissez la valeur par défaut dans les autres champs.
  6. Cliquez sur Créer une tâche.
  7. Cliquez sur la tâche harvest-catalog-bucket.
  8. Vérifiez le sommaire suivant :
    • État : Succeeded
    • Entités de données collectées : 2
    • Fichiers non reconnus collectés : 2 (Les images sont des fichiers non reconnus).
Vous avez créé une tâche de collecte pour votre seau, dans votre instance de catalogue de données.
Consulter vos courriels
  1. Vérifiez si votre compte de courriel contient un courriel dont l'objet est le suivant :

    OCI Event Notification :com.oraclecloud.datacatalog.harvestjob.begin

  2. Prenez connaissance du contenu du courriel.

    De : noreply@notification.<region-identifier>.oci.oraclecloud.com

    Exemple de corps de courriel :

    {
  "eventType" : "com.oraclecloud.datacatalog.harvestjob.end",
  "cloudEventsVersion" : "0.1",
  "eventTypeVersion" : "2.0",
  "source" : "DataCatalog",
  "eventTime" : "<time-harvest-job-began>",
  "contentType" : "application/json",
  "data" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx",
    "compartmentName" : "catalog-compartment",
    "resourceName" : "",
    "resourceId" : "ocid1.datacatalog.oc1.iad.aaaaxxxx",
    "additionalDetails" : {
      "harvestStatus" : "IN_PROGRESS",
      "dataAssetKey" : "<data-asset-key>",
      "dataAssetName" : "object-storage-data-asset",
      "connectionKey" : "<connection-key",
      "jobKey" : "<job-key>",
      "jobUrl" : "",
      "jobDefinitionKey" : "<job-definition-key>",
      "connectionName" : "catalog-bucket-connection",
      "jobDefinitionName" : "harvest-catalog-bucket",
      "jobExecutionKey" : "<job-execution-key>"
    }
  },
  "eventID" : "<event-ocid>",
  "extensions" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx"
  }
}
  3. Recherchez la valeur de "harvestStatus". 
    "harvestStatus" : "IN_PROGRESS"
  4. Vérifiez si votre compte de courriel contient un courriel dont l'objet est le suivant :
    OCI Event Notification :com.oraclecloud.datacatalog.harvestjob.end
  5. Prenez connaissance du contenu du courriel.

    De : noreply@notification.<region-identifier>.oci.oraclecloud.com

    Exemple de corps de courriel :

    {
  "eventType" : "com.oraclecloud.datacatalog.harvestjob.end",
  "cloudEventsVersion" : "0.1",
  "eventTypeVersion" : "2.0",
  "source" : "DataCatalog",
  "eventTime" : "<time-harvest-job-ended>",
  "contentType" : "application/json",
  "data" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx",
    "compartmentName" : "catalog-compartment",
    "resourceName" : "",
    "resourceId" : "ocid1.datacatalog.oc1.iad.aaaaxxxx",
    "additionalDetails" : {
      "harvestStatus" : "SUCCEEDED",
      "dataAssetKey" : "<data-asset-key>",
      "dataAssetName" : "object-storage-data-asset",
      "connectionKey" : "<connection-key",
      "jobKey" : "<job-key>",
      "jobUrl" : "",
      "jobDefinitionKey" : "<job-definition-key>",
      "connectionName" : "catalog-bucket-connection",
      "jobDefinitionName" : "harvest-catalog-bucket",
      "jobExecutionKey" : "<job-execution-key>"
    }
  },
  "eventID" : "<event-ocid>",
  "extensions" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx"
  }
}
  6. Recherchez la valeur de "harvestStatus". 
    "harvestStatus" : "SUCCEEDED"
    Le statut est Terminé :
    Note

    La valeur "harvestStatus" d'un événement harvestjob.begin est "IN_PROGRESS", et "SUCCEEDED" ou "FAILED" pour un événement harvestjob.end.