Oracle Cloud Infrastructure-Dokumentation

Connector mit einer Streamingquelle erstellen

Erstellen Sie einen Connector in Connector Hub, um Streamdaten aus dem Streaming-Service an einen Zielservice zu übertragen.

Weitere Informationen über den Streaming-Service finden Sie unter Streaming.

Ein Connector, der mit einer Streamingquelle und einer (optionalen) Funktionsaufgabe definiert ist, unterstützt die folgenden Ziele: Functions, Log Analytics, Object Storage und Streaming. Das Notifications-Ziel wird nur unterstützt, wenn keine Funktionsaufgabe verwendet wird.

Ein Beispiel für den Connector Hub-Workflow finden Sie unter Überblick über Connector Hub. Ein Beispiel für einen Connector, der Monitoring als Quelle verwendet, finden Sie unter Szenario: Metriken an Object Storage senden.

Hinweis

  • Informationen zum Streameingabeschema finden Sie unter Nachrichtenreferenz.
  • Bei einem Notifications-Ziel mit Streaming-Quelle werden alle Nachrichten als JSON-Raw-Blobs gesendet.

Bevor Sie beginnen

Um einen Streampool und Stream für einen Connector auszuwählen, benötigen Sie die Autorisierung zum Lesen des Streampools und Streams. Siehe IAM-Policys (Connector Hub sichern).

Aufbewahrungszeitraum: Streamingquelle

Der Aufbewahrungszeitraum für die Streamingquelle in Connector Hub ist vom Kunden definiert. Siehe Limits für Streaming-Ressourcen. Weitere Informationen zur Lieferung finden Sie unter Lieferdetails.

Zusammen mit dem Aufbewahrungszeitraum bestimmt die Leseposition der Streamingquelle, wo im Stream Daten verschoben werden sollen. Sie geben die Leseposition an, wenn Sie die Quellverbindung angeben.

Voraussetzungen für private Endpunkte für Streams

Hinweis

Ein vorhandener Connector kann nicht nachgerüstet werden, um einen Stream mit einem privaten Endpunkt zu verwenden. Wenn der für die Streamquelle oder das Ziel ausgewählte Streampool öffentlich ist, kann er nicht in "Privat" geändert werden, und der Connector kann nicht aktualisiert werden, um einen privaten Stream zu referenzieren. Um die Quelle oder das Ziel so zu ändern, dass ein anderer privater Stream verwendet wird, oder eine andere Quelle oder ein anderes Ziel als Streaming zu verwenden, erstellen Sie den Connector mit der gewünschten Quelle und dem gewünschten Ziel neu. Ein Beispiel für die Notwendigkeit eines anderen privaten Datenstroms ist ein Datenstrom, der in einen anderen Datenstrompool verschoben wurde. Erstellen Sie in diesem Fall den Connector mit dem verschobenen Stream neu. Stellen Sie sicher, dass Sie den alten Connector mit der Streamquelle oder dem Ziel deaktivieren oder löschen, die bzw. das Sie nicht mehr benötigen.

Die Konfiguration des privaten Endpunkts wird für Quell- und Zielstreams unterstützt. Im Folgenden werden die Voraussetzungen für den Zugriff auf Streams aufgeführt, die private Endpunkte verwenden.

  • Stellen Sie sicher, dass Ihnen Berechtigungen gemäß den folgenden Policys erteilt werden:
    allow group <group-name> to manage virtual-network-family in compartment id <compartment-ocid>
  where any {request.operation='CreatePrivateEndpoint',
    request.operation='UpdatePrivateEndpoint',
    request.operation='DeletePrivateEndpoint',
    request.operation='ChangePrivateEndpointCompartment',
    request.operation='EnableReverseConnection',
    request.operation='ModifyReverseConnection',
    request.operation='DisableReverseConnection' 
}
    allow group <group-name> to read stream-family in compartment id <compartment-ocid>
  • Best Security Practice besteht darin, einen privaten Stream und seinen Connector im selben Mandanten zu finden.

Konfigurieren Sie nach dem Erstellen des Connectors Ingress- und Egress-Regeln, damit der Connector auf diesen privaten Endpunkt zugreifen kann. Siehe Private Endpunkte: Ingress- und Egress-Regeln konfigurieren.

    1. Wählen Sie auf der Listenseite Connectors die Option Connector erstellen aus. Wenn Sie Hilfe bei der Suche nach der Listenseite benötigen, finden Sie weitere Informationen unter Connectors auflisten.
    2. Geben Sie auf der Seite Connector erstellen einen benutzerfreundlichen Namen für den neuen Connector und eine optionale Beschreibung ein. Geben Sie dabei keine vertraulichen Informationen ein.
    3. Wählen Sie das Compartment aus, in dem Sie den neuen Connector speichern möchten.
    4. Wählen Sie unter Connector konfigurieren unter Quelle die Option Streaming aus.
    5. Wählen Sie unter Ziel den Service aus, an den Sie die Streamdaten übertragen möchten:
      • Functions: Senden Sie Streamdaten an eine Funktion.
      • Logging Analytics: Senden Sie Streamdaten an eine Loggruppe.
      • Notifications: Senden Sie Streamdaten an ein Thema. Benachrichtigungen werden nur unterstützt, wenn keine Funktionsaufgabe definiert ist.
      • Object Storage: Senden Sie Streamdaten an einen Bucket.
      • Streaming: Senden Sie Streamdaten an einen Stream.
    6. (Optional) Um Servicelogs für den neuen Connector zu aktivieren, wählen Sie den Schalter Logs aus, und geben Sie die folgenden Werte an:
      • Logkategorie: Der Wert Connector-Tracking wird automatisch ausgewählt.
      • Compartment: Wählen Sie das Compartment aus, in dem die Servicelogs für den Connector gespeichert werden sollen.
      • Loggruppe: Wählen Sie die Loggruppe aus, in der die Servicelogs gespeichert werden sollen. Um eine neue Loggruppe zu erstellen, wählen Sie Neue Gruppe erstellen aus, und geben Sie einen Namen ein.
      • Logname: Geben Sie optional einen Namen für das Log ein.
      • Erweiterte Optionen anzeigen:
        • Logaufbewahrung: Geben Sie optional an, wie lange die Servicelogs aufbewahrt werden sollen (Standard: 30 Tage).
    7. Wählen Sie unter Quellverbindung konfigurieren den Quellstream aus:
      Hinweis

      Konfiguration des privaten Endpunkts wird unterstützt. Informationen zur Verwendung eines privaten Endpunkts finden Sie unter Voraussetzungen für Streams für private Endpunkte.
      • Compartment: Wählen Sie das Compartment mit dem gewünschten Stream aus.
      • Streampool: Wählen Sie den Streampool aus, der den gewünschten Stream enthält.
        Hinweis

        Um einen Streampool und Stream für einen Connector auszuwählen, benötigen Sie die Autorisierung zum Lesen des Streampools und Streams. Siehe IAM-Policys (Connector Hub sichern).
      • Stream: Wählen Sie den Namen des Streams aus, von dem Sie Daten empfangen möchten.
      • Leseposition: Geben Sie die Cursorposition an, an der mit dem Lesen des Streams begonnen werden soll.
        • Latest: Mit dem Lesen von Nachrichten, die nach dem Erstellen des Connectors veröffentlicht wurden.
          • Wenn die erste Ausführung eines neuen Connectors mit dieser Konfiguration erfolgreich ist, werden Daten aus der Erstellungszeit des Connectors verschoben. Wenn die erste Ausführung nicht erfolgreich verläuft (z.B. bei fehlenden Policys), verschiebt der Connector entweder Daten aus der Erstellungszeit des Connectors oder, wenn die Erstellungszeit außerhalb des Aufbewahrungszeitraums liegt, die ältesten verfügbaren Daten im Stream. Beispiel: Ein Connector, der um 10 Uhr für einen Stream mit einem zweistündigen Aufbewahrungszeitraum erstellt wurde. Wenn fehlerhafte Ausführungen um 11 Uhr aufgelöst werden, verschiebt der Connector Daten ab 10 Uhr. Wenn nicht erfolgreiche Ausführungen um 1 Uhr aufgelöst werden, verschiebt der Connector die ältesten verfügbaren Daten im Stream.
          • Später werden Daten von der nächsten Position im Stream verschoben. Wenn eine spätere Ausführung nicht erfolgreich verläuft, verschiebt der Connector Daten je nach Aufbewahrungszeitraum des Streams von der nächsten Position im Stream oder den ältesten verfügbaren Daten im Stream.
        • Horizont abschneiden: Der Lesevorgang beginnt mit der ältesten verfügbaren Nachricht im Stream.
          • Wenn die erste Ausführung eines neuen Connectors mit dieser Konfiguration erfolgreich ist, werden Daten aus den ältesten verfügbaren Daten im Stream verschoben. Wenn die erste Ausführung nicht erfolgreich verläuft (z.B. bei fehlenden Policys), verschiebt der Connector nach der Auflösung die ältesten verfügbaren Daten im Stream, unabhängig vom Aufbewahrungszeitraum des Streams.
          • Später werden Daten von der nächsten Position im Stream verschoben. Wenn eine spätere Ausführung nicht erfolgreich verläuft, verschiebt der Connector Daten je nach Aufbewahrungszeitraum des Streams von der nächsten Position im Stream oder den ältesten verfügbaren Daten im Stream.
    8. (Optional) Konfigurieren Sie unter Funktionsaufgabe konfigurieren eine Funktionsaufgabe zur Verarbeitung von Streamdaten mit dem Functions-Service:
      • Aufgabe auswählen: Wählen Sie Funktion aus.
      • Compartment: Wählen Sie das Compartment mit der gewünschten Funktion aus.
      • Anwendung für Funktionen: Wählen Sie den Namen der Anwendung aus, die die die gewünschte Funktion enthält.
      • Funktion: Wählen Sie den Namen der Funktion aus, mit dem Sie die von der Quelle empfangenen Daten verarbeiten möchten.

        Zur Verwendung durch den Connector als Aufgabe muss die Funktion so konfiguriert sein, dass sie eine der folgenden Antworten zurückgibt:

        • Liste der JSON-Einträge (muss den Antwortheader Content-Type=application/json festlegen)
        • Einzelnen JSON-Eintrag (muss den Antwortheader Content-Type=application/json festlegen)
        • Einzelnes binäres Objekt (muss den Antwortheader Content-Type=application/octet-stream festlegen)
      • Weitere Optionen anzeigen: Wählen Sie diesen Link aus, und geben Sie Limits für jeden Batch von Daten an, die an die Funktion gesendet werden. Um manuelle Einstellungen zu verwenden, geben Sie Werte für die Batchgrößenbegrenzung (KB) und die Batchzeitbegrenzung (Sekunden) an.

      Überlegungen zu Funktionsaufgaben:

      • Connector Hub analysiert die Ausgabe der Funktionsaufgabe. Die Ausgabe der Funktionsaufgabe wird unverändert in das Ziel geschrieben. Beispiel: Wenn Sie ein Notifications-Ziel mit einer Funktionsaufgabe verwenden, werden alle Nachrichten als JSON-Raw-Blobs gesendet.
      • Funktionen werden synchron mit 6 MB Daten pro Aufruf aufgerufen. Wenn Daten größer als 6 MB sind, ruft der Connector die Funktion erneut auf, um die über dem Grenzwert liegenden Daten zu verschieben. Diese Aufrufe werden nacheinander verarbeitet.
      • Funktionen können bis zu fünf Minuten lang ausgeführt werden. Siehe Zustellungsdetails.
      • Funktionsaufgaben sind auf skalare Funktionen beschränkt.
    9. Wenn Sie Funktionen als Ziel ausgewählt haben, konfigurieren Sie unter Ziel konfigurieren die Funktion zum Senden der Logdaten. Gehen Sie direkt zu Schritt 15.
      • Compartment: Wählen Sie das Compartment mit der gewünschten Funktion aus.
      • Funktionsanwendung: Wählen Sie den Namen der Funktionsanwendung aus, die die gewünschte Funktion enthält.
      • Funktion: Wählen Sie den Namen der Funktion aus, an die Sie die Daten senden möchten.
      • Weitere Optionen anzeigen: Wählen Sie diesen Link aus, und geben Sie Limits für jeden Batch von Daten an, die an die Funktion gesendet werden. Um manuelle Einstellungen zu verwenden, geben Sie Werte für die Batchgrößenbegrenzung (entweder KB oder Anzahl der Nachrichten) und die Batchzeitbegrenzung (Sekunden) an.

        Beispiel: Beschränken Sie die Batchgröße, indem Sie entweder 5.000 Kilobyte oder 10 Nachrichten auswählen. Ein Beispiel für das Batchzeitlimit beträgt 5 Sekunden.

      Überlegungen zu Functions-Zielen:

      • Der Connector löscht Quelldaten als JSON-Liste in Batches. Maximale Batch- oder Payload-Größe beträgt 6 MB.
      • Funktionen werden synchron mit 6 MB Daten pro Aufruf aufgerufen. Wenn Daten größer als 6 MB sind, ruft der Connector die Funktion erneut auf, um die über dem Grenzwert liegenden Daten zu verschieben. Diese Aufrufe werden nacheinander verarbeitet.
      • Funktionen können bis zu fünf Minuten lang ausgeführt werden. Siehe Zustellungsdetails.
      • Geben Sie keine Daten von Functions-Zielen an Connectors zurück. Connector Hub liest keine Daten, die von Functions-Zielen zurückgegeben werden.
    10. Wenn Sie Logging Analytics als Ziel ausgewählt haben, konfigurieren Sie unter Ziel konfigurieren die Loggruppe, an die die Logdaten gesendet werden sollen. Gehen Sie direkt zu Schritt 15.
      • Compartment: Wählen Sie das Compartment mit der gewünschten Loggruppe aus.
      • Loggruppe: Wählen Sie die Loggruppe aus, die Sie möchten.
      • Logquellen-ID (nur für Streamingquellen): Wählen Sie die Logquelle aus.
    11. Wenn Sie Benachrichtigungen als Ziel ausgewählt haben, konfigurieren Sie unter Ziel konfigurieren das Thema so, dass die Logdaten gesendet werden. Gehen Sie direkt zu Schritt 15.
      • Compartment: Wählen Sie das Compartment mit dem gewünschten Thema aus.
      • Thema: Wählen Sie den Namen des Themas aus, an das Sie die Daten senden möchten. Bei Streamingzielen werden Nachrichten als Raw-JSON-Blobs gesendet.

      Überlegungen zu Notifications-Zielen:

      • Das Notifications-Ziel wird nur mit der Streamingquelle unterstützt, wenn keine Funktionsaufgabe verwendet wird.
      • Die maximale Nachrichtengröße für das Notifications-Ziel beträgt 128 KB. Jede Nachricht, die die maximale Größe überschreitet, wird gelöscht.
      • SMS-Nachrichten zeigen für bestimmte Connector-Konfigurationen unerwartete Ergebnisse an. Dieses Problem ist auf Themen beschränkt, die SMS-Abonnements für die angegebenen Connector-Konfigurationen enthalten. Weitere Informationen finden Sie unter Mehrere SMS-Nachrichten für eine einzelne Benachrichtigung.
    12. Wenn Sie Object Storage als Ziel ausgewählt haben, konfigurieren Sie unter Ziel konfigurieren den Bucket so, dass die Logdaten gesendet werden. Gehen Sie direkt zu Schritt 15.
      • Compartment: Wählen Sie das Compartment aus, das den gewünschten Bucket enthält.
      • Bucket: Wählen Sie den Namen des Buckets aus, an den Sie die Daten senden möchten.
      • Objektnamenpräfix: Geben Sie optional einen Präfixwert ein.
      • Zusätzliche Optionen anzeigen: Wählen Sie diesen Link aus, und geben Sie optional Werte für Batchgröße (in MB) und Batchzeit (in Millisekunden) ein.

      Überlegungen zu Object Storage-Zielen:

      • Batch-Rollover-Details:

        • Batch-Rollover-Größe: 100 MB
        • Batch-Rollover-Zeit: 7 Minuten

      • In Object Storage gespeicherte Dateien werden mit gzip komprimiert.

    13. Wenn Sie Streaming als Ziel ausgewählt haben, konfigurieren Sie unter Ziel konfigurieren den Stream, an den die Logdaten gesendet werden sollen.
      Hinweis

      Um einen Streampool und Stream für einen Connector auszuwählen, benötigen Sie die Autorisierung zum Lesen des Streampools und Streams. Siehe IAM-Policys (Connector Hub sichern). Die Konfiguration des privaten Endpunkts wird unterstützt. Informationen zur Verwendung eines privaten Endpunkts finden Sie unter Voraussetzungen für Streams für private Endpunkte.
      • Compartment: Wählen Sie das Compartment mit dem gewünschten Stream aus.
      • Stream: Wählen Sie den Namen des Streams aus, an den Sie die Daten senden möchten.
    14. Um Standard-Policys zu akzeptieren, wählen Sie den Link Erstellen aus, der für jede Standard-Policy bereitgestellt wird.

      Standard-Policys werden für jede Autorisierung angeboten, die für diesen Connector für den Zugriff auf Quell-, Aufgaben- und Zielservices erforderlich ist.

      Sie können diese Autorisierung über diese Standard-Policys oder über gruppenbasierte Policys erhalten. Die Standard-Policys werden immer angeboten, wenn Sie mit der Konsole einen Connector erstellen oder bearbeiten. Die einzige Ausnahme ist, wenn die genaue Policy bereits in IAM vorhanden ist. In diesem Fall wird die Standard-Policy nicht angeboten. Weitere Informationen zu dieser Autorisierungsanforderung finden Sie unter Authentifizierung und Autorisierung.

      • Wenn Sie keine Berechtigungen zum Akzeptieren von Standard-Policys haben, wenden Sie sich an den Administrator.
      • Automatisch erstellte Policys bleiben erhalten, wenn Connectors gelöscht werden. Als Best Practice sollten Sie zugehörige Policys löschen, wenn Sie den Connector löschen.

      Um eine neu erstellte Policy zu prüfen, wählen Sie den zugehörigen Ansichtslink aus.

    15. (Optional) Fügen Sie dem Connector mindestens ein Tag hinzu: Wählen Sie Erweiterte Optionen anzeigen aus, um den Abschnitt Tags hinzufügen anzuzeigen.
      Wenn Sie über Berechtigungen zum Erstellen einer Ressource verfügen, sind Sie auch berechtigt, Freiform-Tags auf diese Ressource anzuwenden. Um ein definiertes Tag anzuwenden, benötigen Sie die Berechtigungen zur Verwendung des Tag-Namespace. Weitere Informationen zum Tagging finden Sie unter Ressourcentags. Wenn Sie nicht sicher sind, ob Sie Tags anwenden sollen, überspringen Sie diese Option, oder fragen Sie einen Administrator. Sie können Tags später anwenden.
    16. Klicken Sie auf Erstellen.
    Der Erstellungsprozess beginnt, und sein Fortschritt wird angezeigt. Nach Abschluss wird die Detailseite des Connectors geöffnet.

  • Verwenden Sie den Befehl oci sch service-connector create und die erforderlichen Parameter, um einen Connector mit einer Streaming-Quelle zu erstellen:

    oci sch service-connector create --display-name "<display_name>" --compartment-id <compartment_OCID> --source [<stream_source_in_JSON>] --target [<target_in_JSON>]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateServiceConnector aus, um einen Connector zu erstellen.

    Um einen Connector mit einer Streamingquelle zu erstellen, füllen Sie source in der Anforderung (CreateServiceConnectorDetails) mit Streamingdetails auf. Ein Beispiel finden Sie unter StreamingSourceDetails.

Private Endpunkte: Ingress- und Egress-Regeln konfigurieren

Wenn Sie einen Connector mit einem Stream erstellt haben, der einen privaten Endpunkt verwendet, konfigurieren Sie Ingress- und Egress-Regeln, damit der Connector auf diesen privaten Endpunkt zugreifen kann.

  • IP-Adressen für Konfiguration abrufen:
  • Primären Traffic zulassen: Fügen Sie eine Ingress-Regel mit der folgenden Konfiguration zur NSG oder Sicherheitsliste hinzu.

    Konsole:

    • zustandslos: Nein
    • Quelle: rceTrafficIpAddress (Beispiel: 10.0.0.249/32)
    • IP-Protokoll: TCP
    • Quellportbereich: Alle
    • Zielportbereich: Alle

    API - Beispielregel in Anforderung:

    {
  "protocol": "6",
  "source": "10.0.0.249/32"
}
  • Fügen Sie eine Egress-Regel mit der folgenden Konfiguration zur Sicherheitsliste hinzu.

    Konsole:

    • zustandslos: Nein
    • Quelle: streamPoolIpAddress (Beispiel: 10.0.0.20/32)
    • IP-Protokoll: TCP
    • Quellportbereich: Alle
    • Zielportbereich: Alle

    API - Beispielregel in Anforderung:

    {
  "destination": "10.0.0.20/32",
  "protocol": "6"
}
Hinweis

Ein vorhandener Connector kann nicht nachgerüstet werden, um einen Stream mit einem privaten Endpunkt zu verwenden. Wenn der für die Streamquelle oder das Ziel ausgewählte Streampool öffentlich ist, kann er nicht in "Privat" geändert werden, und der Connector kann nicht aktualisiert werden, um einen privaten Stream zu referenzieren. Um die Quelle oder das Ziel so zu ändern, dass ein anderer privater Stream verwendet wird, oder eine andere Quelle oder ein anderes Ziel als Streaming zu verwenden, erstellen Sie den Connector mit der gewünschten Quelle und dem gewünschten Ziel neu. Ein Beispiel für die Notwendigkeit eines anderen privaten Datenstroms ist ein Datenstrom, der in einen anderen Datenstrompool verschoben wurde. Erstellen Sie in diesem Fall den Connector mit dem verschobenen Stream neu. Stellen Sie sicher, dass Sie den alten Connector mit der Streamquelle oder dem Ziel deaktivieren oder löschen, die bzw. das Sie nicht mehr benötigen.

Bestätigen, dass der neue Connector Daten verschiebt

Nachdem Sie den Connector erstellt haben, bestätigen Sie, dass die Daten verschoben werden.

  • Aktivieren Sie Logs, damit der Connector Details zum Datenfluss abrufen kann.
  • Prüfen Sie auf erwartete Ergebnisse am Zielservice.

Wenn Sie bestätigen, dass Daten verschoben werden, können Sie die automatische Deaktivierung vermeiden. Dies geschieht, wenn ein Connector lange ausfällt.

Private Streams: Es ist nicht möglich, einen vorhandenen Connector nachzurüsten, um einen Stream mit einem privaten Endpunkt zu verwenden. Wenn der für die Streamquelle oder das Ziel ausgewählte Streampool öffentlich ist, kann er nicht in "Privat" geändert werden, und der Connector kann nicht aktualisiert werden, um einen privaten Stream zu referenzieren. Um die Quelle oder das Ziel so zu ändern, dass ein anderer privater Stream verwendet wird, oder eine andere Quelle oder ein anderes Ziel als Streaming zu verwenden, erstellen Sie den Connector mit der gewünschten Quelle und dem gewünschten Ziel neu. Ein Beispiel für die Notwendigkeit eines anderen privaten Datenstroms ist ein Datenstrom, der in einen anderen Datenstrompool verschoben wurde. Erstellen Sie in diesem Fall den Connector mit dem verschobenen Stream neu. Stellen Sie sicher, dass Sie den alten Connector mit der Streamquelle oder dem Ziel deaktivieren oder löschen, die bzw. das Sie nicht mehr benötigen.