Datenstreams erstellen und verwalten

Datenstream über die Benutzeroberfläche erstellen

Wählen Sie im linken Navigationsbereich Datenstreams aus, um die Seite "Datenstreams" zu öffnen.
Klicken Sie auf die Schaltfläche Datenstream hinzufügen. Das Feld "Datenstream-Diaglox hinzufügen" wird angezeigt.
Geben Sie auf der Seite Datenstreaminformationen einen eindeutigen Ressourcennamen in das Feld Name ein.

Der Name muss zwischen 1 und 32 Zeichen lang sein. Beginnen Sie mit einem Buchstaben. Verwenden Sie einen stabilen Namen, da Checkpoints für den Streamvertrag gelten. Klicken Sie anschließend auf Weiter.

$Dialogfeld {\b Add Data Streams}: Seite {\b Data Stream Information}$
Fügen Sie die Beschreibung mit dem Geschäftseigentümer, Quelltrail, Tabellen, Consumer und Recovery-Ziel hinzu.
Geben Sie auf der Seite Quelloptionen die Werte für Optionen an, die in der folgenden Abbildung angezeigt werden:
- Trailname: Name der Quelltraildatei. Der Trailname muss aus zwei Zeichen bestehen, die das Quelltrailpräfix oder den Quellendpunkt angeben, der vom Service akzeptiert wird.
- Trailunterverzeichnis: Der Pfad des Unterverzeichnisses, in dem Traildateien gespeichert werden. Dies ist das Verzeichnis unter dem Deployment GoldenGate, in dem der Quelltrail gespeichert ist, wenn er sich nicht im Standardspeicherort befindet.
- Codierung: Diese Option steuert die Codierung von Datensätzen für den Datenstream. Derzeit wird die JSON-Codierung unterstützt. Verwenden Sie den YAML-Editor oder die REST-Konfiguration für erweiterte JSON-Optionen.
- Puffergröße: Dieser Wert steuert die Speicherpuffergröße, die im Daten-Streaming-Service verwendet wird. Der Datenstreamingdienst leert die speicherresidente Nachrichtenwarteschlange, nachdem die Gesamtbytegröße den angegebenen Wert überschreitet und die Datensätze an den Client übermittelt. Bereich 131.072 bis 10.485.760; Standardwert 1.048.576. Dies ist keine dauerhafte Aufbewahrung.
- Servicequalität: Diese Option definiert das Unterdrückungs- und Recovery-Verhalten der doppelten Datenströme. exactlyOnce, atLeastOnce oder atMostOnce.
  
  Informationen hierzu finden Sie unter Checkpointing-, Recovery- und Bereitstellungssemantik, bevor Sie einen Nicht-Standardwert auswählen.
  
  Im Datenstreaming-Service werden drei Quality of Service-Ebenen unterstützt:
  - Exakt einmal: Dieser Modus ist der restriktivste Modus, bei dem der Service doppelte Datensätze beim Recovery herausfiltert, wenn RESTART OK/ABEND-Datensätze in den Quelltrails angezeigt werden. Kunden sehen keine doppelten Datensätze. Wenn der Service den Datensatz mit der angegebenen zuletzt verarbeiteten Position nicht finden kann, tritt ein Fehler auf.
  - Mindestens einmal: Dieser Modus unterdrückt keine doppelten Datensätze während des Recoverys oder zeigt keine RESTART OK/ABEND-Datensätze im Quelltrail an. Clients können doppelte Datensätze im Datenstream sehen. Wenn der Service den Datensatz mit der angegebenen zuletzt verarbeiteten Position nicht finden kann, tritt ein Fehler auf.
  - Höchstens einmal: Dieser Modus unterdrückt doppelte Datensätze beim Recovery oder beim Anzeigen von RESTART OK/ABEND-Datensätzen im Quelltrail. Clients sehen keine doppelten Datensätze im Datenstream. Wenn der Dienst den Datensatz mit der angegebenen zuletzt verarbeiteten Position nicht finden kann, sucht er den nächsten verfügbaren Datensatz und geht weiter.
- CloudEvents-Format: Der Datenstreaming-Service unterstützt die Übertragung der Datensätze im CloudEvents-Format. Es werden GoldenGate-Datensätze in CloudEvents-JSON gewrappt. Standardmäßig deaktiviert. Standardmäßig ist dieses Format deaktiviert und kann gesteuert werden, indem die Eigenschaft beim Erstellen des Datenstreamingkanals mit dem Umschalter aktiviert wird.
Auf der Seite Filteroptionen sind die Optionen zum Ein- und Ausschließen von Filterregeln verfügbar, wie in der folgenden Abbildung dargestellt:

Geben Sie die Filterregeloptionen wie folgt an:
- Regelaktion: Wählen Sie die Optionen "Ausschließen" oder "Einschließen".
- Filtertyp: Der Filtertyp umfasst Folgendes:
  
  Objekttyp: Sie können mehrere Optionen aus der Dropdown-Liste auswählen, einschließlich DML, DDL, INSERT, UPDATE, UPSERT, DELETE.
  
  Objektnamen: Name des zuvor erstellten Filterobjekts.

Klicken Sie auf Hinzufügen, um die Filterregel zum Data Stream-Prozess hinzuzufügen.

Klicken Sie auf Datenstream erstellen. Sie kehren zur Homepage des Verteilungsservice zurück, auf der der Datenstream aufgeführt ist.
Klicken Sie auf den erstellten Datenstream, um die Definitionen für das YAML-Dokument Data Streaming AsyncAPI für den Stream anzuzeigen.

Data Streams-Konfiguration über die Benutzeroberfläche bearbeiten

So bearbeiten Sie die Data Streams-Konfiguration:

Klicken Sie im linken Navigationsbereich auf {\b Data Streams}.
Wählen Sie den Namen des Datenstreams aus, der geändert werden muss.
Verwenden Sie auf der Seite "Datenstreams" die Spalte Aktion, um Datenstreamdetails anzuzeigen, einen Datenstream zu löschen und seine Filterung zu ändern.
Wenn Sie im Menü Aktion auf die Option Filterung ändern klicken, wird das Dialogfeld Datenstreamfilterregeln bearbeiten angezeigt. In diesem Feld können Sie die Regelaktion (Einschließen, Ausschließen) und den Filtertyp (Objektname oder Objekttyp) ändern.
Klicken Sie auf Hinzufügen, um die Filterung anzuwenden.
Klicken Sie auf Weiterleiten, um die Seite "Datenstreams" zurückzugeben.

Sie können den Datenstream weiter bearbeiten, indem Sie in der Spalte Name auf den Datenstream klicken. Dadurch wird die vollständige Datenstreamkonfiguration angezeigt. Verwenden Sie das Stiftsymbol neben jeder Konfigurationseinstellung, um es zu ändern. Sie können die Quelltraildatei ändern, die von einem Datenstream verwendet wird, Filterregeln und Quality of Service. Mit dem YAML-Editor können Sie auch die Datenstreamkonfiguration ändern und Änderungen hochladen, indem Sie das Symbol Änderungen hochladen neben dem YAML-Editor verwenden.

Datenstream mit REST-API erstellen

Verwenden Sie POST /services/v2/stream/{streamName} mit einem Administratoraccount. Die minimale Anforderung identifiziert einen Quelltrail:

{
  "$schema": "ogg:dataStream",
  "source": {
    "trail": "ea",
    "path": "./dirdat"
  }
}

Eine Produktionsanforderung legt Servicequalität, Filter, JSON-Schemaemission, Metadatenfelder und Größensteuerelemente normalerweise explizit fest. Die unterstützende Datei data_stream_create_request.json enthält ein vollständiges bereinigtes Beispiel.

{
  "$schema": "ogg:dataStream",
  "description": "Streams sales order changes",
  "source": {"trail": "ea", "path": "./dirdat"},
  "qualityOfService": "exactlyOnce",
  "bufferSize": 1048576,
  "tcpKeepAliveTimeout": 120,
  "cloudEventsFormat": false,
  "rules": [
    {
      "action": "include",
      "filter": {"objectNames": ["SALES.ORDERS", "SALES.ORDER_ITEMS"]}
    }
  ],
  "encoding": {
    "json": {
      "$schema": "ogg:outputFormatJson",
      "model": "op",
      "includeJSONSchemaRecord": true,
      "includeObjectMetadataRecords": true,
      "includeStreamMetadataRecord": true,
      "metaFields": {
        "qualifiedTable": true,
        "opType": true,
        "opTs": true,
        "pos": true,
        "xid": true,
        "csn": "csn",
        "opSeqno": "op_seqno",
        "transInd": "trans_ind"
      }
    }
  }
}

Konfigurationseigenschaften der obersten Ebene

Die folgende Tabelle enthält die Konfigurationseigenschaften, mit denen der Stream konfiguriert wird.

Eigenschaft	Typ/Standard	Beschreibung
`$schema`	Zeichenfolge/`ogg:dataStream`	Konfigurationsschema-ID.
`source`	Objekt / erforderlich	Quelltrail und optionaler Pfad.
`description`	Zeichenfolge / keine	1 bis 4.096 Zeichen, die den Datenstream beschreiben.
`qualityOfService`	Aufzählung / `exactlyOnce`	`atLeastOnce`, `exactlyOnce` oder `atMostOnce`.
`bufferSize`	Ganzzahl/1,048,576	Schwellenwert in Byte leeren. Minimum 131,072; Maximum 10,485,760.
`tcpKeepAliveTimeout`	Ganzzahl/120	TCP Keepalive-Timeout in Sekunden. Minimum 1; Maximum 10.800.
`cloudEventsFormat`	Boolescher Wert/`false`	Aktiviert CloudEvents-JSON-Envelopes.
`rules`	Array / keine	1 bis 1.024 Regeln ein- oder ausschließen.
`encoding`	Zeichenfolge oder Objekt / `json`	Verwenden Sie `"json"` als Standardwerte oder `{"json": {...}}` als erweiterte Ausgabeeinstellungen.

Datenstream abrufen, aktualisieren, auflisten und löschen

Mit der folgenden Tabelle können Sie Datenstreams verwalten oder löschen:

Aufgabe	Methode und Pfad	Rolle
Streams auflisten	`GET /services/v2/stream`	Benutzer
Konfiguration abrufen	`GET /services/v2/stream/{streamName}`	Bediener
Generierte YAML abrufen	`GET /services/v2/stream/{streamName}/yaml`	Benutzer
Konfiguration aktualisieren	`PATCH /services/v2/stream/{streamName}`	Administrator
JAML aktualisieren	`PATCH /services/v2/stream/{streamName}/yaml`	Administrator
Stream löschen	`DELETE /services/v2/stream/{streamName}`	Administrator

Achtung: Wenn Sie Feldnamen, Vorgangszeichenfolgen, Datensatzmodell, Filter oder Schemaemission ändern, ändert sich der Nutzungsvertrag. Koordination der Änderung, Version des Vertrags und Testneustart von einem vorhandenen Checkpoint vor dem Produktions-Rollout.

Generierte YAML als bereitgestellten Vertrag verwenden

Die generierte YAML umfasst den bereitstellungsspezifischen Server, die Kanaladresse, den Abfrageparameter begin, die Nachrichten-Payload und die unterstützten Datensatzschemas. Rufen Sie sie nach der Erstellung und nach jeder Konfigurationsänderung ab. Speichern Sie eine überprüfte Kopie mit dem Consumer-Release, vergleichen Sie sie jedoch während der Deployment-Validierung immer mit der Laufzeitversion.