Oracle Cloud Infrastructure - Dokumentation

Benachrichtigungen für Data Catalog-Harvesting-Ereignisse empfangen

In diesem Tutorial richten Sie den Oracle Cloud Infrastructure-Events-Service ein, sodass Sie eine E-Mail erhalten, sobald ein Data Catalog-Harvesting-Job in einem bestimmten Compartment gestartet oder erfolgreich bzw. nicht erfolgreich ausgeführt wurde. Zu den Hauptaufgaben gehören:

  • Themen und Abonnements erstellen.
  • Regeln schreiben, um E-Mail-Benachrichtigungen über Ereignisse zu erhalten.
  • Buckets mit Daten erstellen.
  • Daten durch Harvesting in Data Catalog erstellen.

Bevor Sie beginnen

Um dieses Tutorial erfolgreich ausführen zu können, benötigen Sie Folgendes:

Wenn Sie administrative Rechte für Ihren Account haben, überspringen Sie den Rest dieses Abschnitts. Wenden Sie sich andernfalls an den Administrator, um die folgende Policy zu Ihrem Account hinzufügen zu lassen:
allow group <the-group-your-username-belongs> to manage all-resources in compartment catalog-compartment

Weitere Beispiele finden Sie unter Allgemeine Policys.

Hinweis

Im nächsten Abschnitt erstellen Sie ein Compartment für Ihre Data Catalog-Instanzen mit dem Namen catalog-compartment.

1. Benachrichtigungen einrichten

In diesem Abschnitt richten Sie den Notifications-Service ein, um Ihre E-Mail-Adresse für ein benutzerdefiniertes Abonnement zu registrieren. Später verwenden Sie dieses Abonnement, um Benachrichtigungen in Ihrem E-Mail-Account zu erhalten.

Compartment erstellen

Erstellen Sie ein Compartment für Data Catalog-Instanzen, Ereignisse und Benachrichtigungen.

  1. Öffnen Sie das Navigationsmenü , und wählen Sie Identität und Sicherheit aus. Wählen Sie unter Identität die Option Compartments aus.
  2. Wählen Sie Compartment erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Name: catalog-compartment
    • Beschreibung: Compartment for data catalogs.
    • Übergeordnetes Compartment: <your-tenancy>(root)
  4. Wählen Sie Compartment erstellen aus.

Sie haben erfolgreich ein Compartment für Ihre Data Catalog-Ressourcen erstellt.

Thema erstellen
  1. Öffnen Sie das Navigationsmenü , und wählen Sie Entwicklerservices aus. Wählen Sie unter Anwendungsintegration die Option Benachrichtigungen aus.
  2. Wählen Sie im äußersten linken Bereich für Compartment catalog-compartment aus.
    Aktualisieren Sie die linke Navigationsbereich, wenn im Compartment-Abschnitt catalog-compartment nicht aufgeführt wird.
    Hinweis

    Wählen Sie dieses Compartment für alle Ressourcen aus, die Sie in diesem Tutorial erstellen.
  3. Wählen Sie Thema erstellen aus.
  4. Geben Sie folgende Daten ein:
    • Name: catalog-topic
    • Beschreibung: Topic for data catalog harvest events.
  5. Wählen Sie Erstellen aus.
Sie haben erfolgreich ein Thema für Ihre Benachrichtigungen erstellt.
Abonnement erstellen
  1. Wählen Sie im Notifications-Service in der Liste der Themen catalog-topic aus.
  2. Wählen Sie Abonnement erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Protokoll: E-Mail
    • E-Mail: <your-email>
  4. Wählen Sie Erstellen aus.
  5. Prüfen Sie Ihren E-Mail-Account auf eine E-Mail mit dem Betreff noreply@notification.<your-region>.oci.oraclecloud.com
  6. Wählen Sie den Link Abonnement bestätigen in Ihrer E-Mail aus.
    Im Browser wird eine Seite mit der folgenden Meldung angezeigt:

    Sie haben <your-email> für das Thema catalog-topic abonniert.

  7. Warten Sie in der Konsole, bis sich der Status des Abonnements von Ausstehend in Aktiv ändert.
Sie haben erfolgreich ein E-Mail-Abonnement für Ihr Thema erstellt.

2. Ereignisregel einrichten

In diesem Abschnitt richten Sie eine Regel im Events-Service ein, nach der Sie eine E-Mail erhalten, sobald ein Harvesting-Job in Ihrem Compartment gestartet oder erfolgreich bzw. nicht erfolgreich durchgeführt wurde.

Regel erstellen
  1. Öffnen Sie das Navigationsmenü , und wählen Sie Observability and Management aus. Wählen Sie unter Events-Service die Option Regeln aus.
  2. Wählen Sie Regel erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Anzeigename: catalog-harvest-rule
    • Beschreibung: Receive an email when a harvest job starts, succeeds or fails in the catalog-compartment.
    • Regelbedingungen:
      • Bedingung: Veranstaltungstyp
      • Service-Name: Data Catalog
      • Ereignistyp: Harvest - Starten
      • Ereignistyp: Harvest - End
      Hinweis

      Stellen Sie sicher, dass Sie sowohl Harvest-Begin als auch Harvest-End auswählen.
  4. Wählen Sie + Weitere Bedingung aus.
  5. Geben Sie folgende Daten ein:
    • Regelbedingungen:
      • Zustand: Attribut
      • Attributname: CompartmentName
      • Attributwerte: catalog-compartment

    Die Regellogik wird automatisch aufgefüllt:

    MATCH event WHERE (
eventType EQUALS ANY OF (
com.oraclecloud.datacatalog.harvestjob.end,
com.oraclecloud.datacatalog.harvestjob.begin
)
AND (
compartmentName MATCHES ANY OF (
laleh-catalog-compartment
)
)
)
  6. Geben Sie im Abschnitt Aktionen die folgenden Informationen ein:
    • Aktionstyp: Benachrichtigungen
    • Benachrichtigungen Compartment: catalog-compartment
    • Thema: catalog-topic
  7. Wählen Sie Regel erstellen aus.
Sie haben erfolgreich eine Ereignisregel für Ihre Data Catalog-Harvesting-Jobs erstellt.

3. Bucket mit Daten erstellen

In diesem Abschnitt erstellen Sie einen Bucket im Object Storage-Service. Anschließend fügen Sie dem Bucket Daten hinzu.

Bucket erstellen

Erstellen Sie einen Bucket im Object Storage-Service.

  1. öffnen Sie das Navigationsmenü , und wählen Sie Speicher aus. Wählen Sie unter Object Storage und Archive Storage die Option Buckets aus.
  2. Wählen Sie Bucket erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Name: catalog-bucket
    • Lassen Sie den Standardwert für andere Felder unverändert.
  4. Wählen Sie Bucket erstellen aus.
Sie haben erfolgreich einen Bucket für Ihre Daten erstellt.
Daten zu Bucket hinzufügen
  1. Wählen Sie im Object Storage-Service in der Liste der Buckets die Option catalog-bucket aus.
  2. Wählen Sie Hochladen aus.
  3. Wählen Sie die beiden Bilder aus, die Sie im Abschnitt Vor Beginn vorbereitet haben.
  4. Wählen Sie Hochladen, Schließen aus.
    Die beiden Bilder werden in der Liste der Objekte angezeigt.
Sie haben dem Bucket erfolgreich Daten hinzugefügt.
Data Catalog Zugriff auf Bucket erteilen
In diesem Abschnitt erteilen Sie dem Data Catalog-Service Zugriff auf Object Storage-Ressourcen im catalog-compartment. Mit dieser Policy können Ihre Data Catalog-Instanzen Metadaten aus der catalog-bucket herunterladen.
  1. Öffnen Sie das Navigationsmenü , und wählen Sie Identität und Sicherheit aus. Wählen Sie unter Identität die Option Policys aus.
  2. Wählen Sie Policy erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Name: catalog-policy
    • Beschreibung: Allow Data Catalog to access Object Storage resources.
    • Wählen Sie im Abschnitt Policy Builder die Option Anpassen (erweitert) aus.
  4. Fügen Sie die folgende Policy in den Policy-Builder ein: 
    allow service datacatalog to read object-family in compartment catalog-compartment
  5. Wählen Sie Erstellen aus.
Sie haben erfolgreich eine Policy für den Zugriff von Data Catalog auf Object Storage-Ressourcen und Buckets erstellt.

4. Harvesting aus dem Bucket

In diesem Abschnitt erstellen Sie eine Data Catalog-Instanz. Dann stellen Sie eine Verbindung zwischen der Data Catalog-Instanz und dem Bucket her und führen ein Harvesting der Metadaten aus dem Bucket durch. Abschließend prüfen Sie Ihre E-Mail-Benachrichtigungen für die Harvesting-Jobs.

Erforderliche Daten erfassen

Erstellen Sie die benötigten Informationen, und kopieren Sie sie in einen Notizblock.

Erfassen Sie die folgenden Informationen aus der Konsole:

  • Compartment-ID: <compartment-ocid>
    • Geben Sie in der Konsolensuchleiste catalog-compartment ein.
    • Wählen Sie catalog-compartment in den Suchergebnissen aus.
    • Kopieren Sie die OCID.
  • (OCI) Region: <region-identifier>
    • Suchen Sie in der oberen Navigationsleiste <your-region>. Beispiel: US West (Phoenix).
    • Gehen Sie in der oberen Navigationsleiste zu Ihrem Profilsymbol, und wählen Sie Tenancy: <your tenancy> aus.
    • Wählen Sie Regionen verwalten aus.
    • Suchen Sie in der Liste der Regionen <region-identifier> für <your-region>. Beispiel: us-phoenix-1.
  • URL: <object-storage-swift-URI>
    • Kopieren Sie die folgende Zeichenfolge:
      https://swiftobjectstorage.<region-identifier>.oraclecloud.com
    • Ersetzen Sie <region-identifier> durch die Informationen, die Sie für Region erfasst haben.
  • Namespace: <object-storage-namespace>
    • Gehen Sie in der oberen Navigationsleiste zu Ihrem Profilsymbol, und wählen Sie Tenancy: <your tenancy> aus.
    • Kopieren Sie den Wert für Object Storage-Namespace.
Data Catalog-Instanz erstellen
  1. Öffnen Sie das Navigationsmenü , und wählen Sie Analysen und KI aus. Wählen Sie unter Data Lake die Option Data Catalog aus.
  2. Wählen Sie Datenkatalog erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Erstellen in Compartment: catalog-compartment
    • Name: catalog-instance-1
    • Lassen Sie den Standardwert für andere Felder unverändert.
  4. Wählen Sie Datenkatalog erstellen aus.
Sie haben erfolgreich eine Data Catalog-Instanz erstellt.
Datenasset erstellen
  1. Wählen Sie im Data Catalog-Service in der Liste der Data Kataloginstanzen die Option catalog-instance-1 aus.
  2. Wählen Sie in der Kachel Schnellaktionen die Option Datenasset erstellen aus.
  3. Geben Sie folgende Daten ein:
    • Name: object-storage-data-asset
  4. Wählen Sie unter Typ die Option Oracle Object Storage aus
  5. Verwenden Sie die Daten im Abschnitt Erforderliche Daten erfassen für die folgenden Felder:
    • URL: https://swiftobjectstorage.<region-identifier>.oraclecloud.com
    • Namespace: <object-storage-namespace>
  6. Wählen Sie Erstellen aus.
Sie haben erfolgreich ein Datenasset in Ihrer Data Catalog-Instanz erstellt.
Verbindung mit Bucket herstellen
Stellen Sie eine Verbindung zwischen catalog-bucket und catalog-instance-1 her.
  1. Gehen Sie auf der Homepage von catalog-instance-1 zur Kachel Zuletzt aktualisiert, und wählen Sie object-storage-data-asset aus.
  2. Wählen Sie unter Verbindungen die Option Verbindung hinzufügen aus.
  3. Geben Sie folgende Daten ein:
    • Name: catalog-bucket-connection
  4. Wählen Sie unter Typ S2S Principal aus
  5. Verwenden Sie die Daten im Abschnitt Erforderliche Daten erfassen für die folgenden Felder:
    • OCI Region: <region-identifier>
    • Compartment-OCID: <compartment-ocid>
  6. Wählen Sie die Option Legen Sie diese Verbindung als Standardverbindung für das Datenasset fest aus.
  7. Wählen Sie Verbindung testen aus.
  8. Wählen Sie Hinzufügen aus.
Sie haben erfolgreich einen Bucket mit der Data Catalog-Instanz verbunden.
Harvesting aus dem Bucket
  1. Gehen Sie auf der Homepage von catalog-instance-1 zur Kachel Zuletzt aktualisiert, und wählen Sie object-storage-data-asset aus.
  2. Wählen Sie Harvesting aus.
  3. Wählen Sie für Verbindungsschritt auswählen catalog-bucket-connection aus, und wählen Sie Weiter aus.
  4. Führen Sie im Schritt Datenentitäten auswählen die folgenden Schritte aus:
    • Den Inhalt des Buckets anzeigen: Wählen Sie catalog-bucket aus.
    • Hinzufügen der Metadaten für alle Bilder zum Katalog: Wählen Sie Alle hinzufügen aus.
    • Wählen Sie Weiter.
  5. Füllen Sie die folgenden Felder aus, oder wählen Sie sie aus:
    • Jobname: harvest-catalog-bucket
    • Nicht erkannte Dateien einschließen: ausgewählt
    • Lassen Sie den Standardwert für andere Felder unverändert.
  6. Wählen Sie Job erstellen aus.
  7. Wählen Sie den Job harvest-catalog-bucket aus.
  8. Bestätigen Sie die folgende Übersicht:
    • Status: Succeeded
    • Datenentitys, für die Harvesting ausgeführt wurde: 2
    • Nicht erkannte Dateien, für die ein Harvesting ausgeführt wurde: 2 (Bilder sind nicht erkannte Dateien).
Sie haben erfolgreich einen Harvesting-Job für den Bucket in der Data Catalog-Instanz erstellt.
E-Mail prüfen
  1. Prüfen Sie Ihren E-Mail-Account auf eine E-Mail mit dem folgenden Thema:

    OCI Event Notification :com.oraclecloud.datacatalog.harvestjob.begin

  2. Prüfen Sie den Inhalt der E-Mail.

    Von: noreply@notification.<region-identifier>.oci.oraclecloud.com

    Beispiel für E-Mail-Text:

    {
  "eventType" : "com.oraclecloud.datacatalog.harvestjob.end",
  "cloudEventsVersion" : "0.1",
  "eventTypeVersion" : "2.0",
  "source" : "DataCatalog",
  "eventTime" : "<time-harvest-job-began>",
  "contentType" : "application/json",
  "data" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx",
    "compartmentName" : "catalog-compartment",
    "resourceName" : "",
    "resourceId" : "ocid1.datacatalog.oc1.iad.aaaaxxxx",
    "additionalDetails" : {
      "harvestStatus" : "IN_PROGRESS",
      "dataAssetKey" : "<data-asset-key>",
      "dataAssetName" : "object-storage-data-asset",
      "connectionKey" : "<connection-key",
      "jobKey" : "<job-key>",
      "jobUrl" : "",
      "jobDefinitionKey" : "<job-definition-key>",
      "connectionName" : "catalog-bucket-connection",
      "jobDefinitionName" : "harvest-catalog-bucket",
      "jobExecutionKey" : "<job-execution-key>"
    }
  },
  "eventID" : "<event-ocid>",
  "extensions" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx"
  }
}
  3. Suchen Sie den Wert für "harvestStatus". 
    "harvestStatus" : "IN_PROGRESS"
  4. Prüfen Sie Ihren E-Mail-Account auf eine E-Mail mit dem Betreff:
    OCI Event Notification :com.oraclecloud.datacatalog.harvestjob.end
  5. Prüfen Sie den Inhalt der E-Mail.

    Von: noreply@notification.<region-identifier>.oci.oraclecloud.com

    Beispiel für E-Mail-Text:

    {
  "eventType" : "com.oraclecloud.datacatalog.harvestjob.end",
  "cloudEventsVersion" : "0.1",
  "eventTypeVersion" : "2.0",
  "source" : "DataCatalog",
  "eventTime" : "<time-harvest-job-ended>",
  "contentType" : "application/json",
  "data" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx",
    "compartmentName" : "catalog-compartment",
    "resourceName" : "",
    "resourceId" : "ocid1.datacatalog.oc1.iad.aaaaxxxx",
    "additionalDetails" : {
      "harvestStatus" : "SUCCEEDED",
      "dataAssetKey" : "<data-asset-key>",
      "dataAssetName" : "object-storage-data-asset",
      "connectionKey" : "<connection-key",
      "jobKey" : "<job-key>",
      "jobUrl" : "",
      "jobDefinitionKey" : "<job-definition-key>",
      "connectionName" : "catalog-bucket-connection",
      "jobDefinitionName" : "harvest-catalog-bucket",
      "jobExecutionKey" : "<job-execution-key>"
    }
  },
  "eventID" : "<event-ocid>",
  "extensions" : {
    "compartmentId" : "ocid1.compartment.oc1..aaaaxxxx"
  }
}
  6. Suchen Sie den Wert für "harvestStatus". 
    "harvestStatus" : "SUCCEEDED"
    Der Status ist "Abgeschlossen":
    Hinweis

    : "harvestStatus" für ein harvestjob.begin-Ereignis ist "IN_PROGRESS", und für ein harvestjob.end-Ereignis ist "SUCCEEDED" oder "FAILED".