Datenstreams

Oracle GoldenGate Data Streams stellt einen WebSocket-Endpunkt bereit, der festgeschriebene Änderungsdatensätze kontinuierlich aus einem Oracle GoldenGate-Trail veröffentlicht. Ein Client erstellt oder verwendet eine benannte Data Stream-Ressource, stellt eine Verbindung zum generierten Endpunkt her, empfängt JSON-Datensätze, verarbeitet jeden Datensatz und speichert die zuletzt erfolgreich verarbeitete Position für das Recovery.

Data Streams verwendet ein AsyncAPI 3.0-Dokument, um Endpunkt-, Kanal-, Abfrageparameter, Nachrichtenausprägung und Datensatzschemas zu beschreiben. Die generierte AsyncAPI-YAML für den bestimmten Stream ist der autoritative Vertrag für diesen Stream. Verwenden Sie sie, anstatt einen generischen Hostnamen, Kanalpfad oder eine Payload-Definition aus einem anderen Deployment zu kopieren.

Vorteile für Entwickler und Data Scientists

• Verbesserte Datenaufnahme: Mit dem Modell "Veröffentlichen" oder "Abonnieren" auf Basis von AsyncAPI können Anwendungen Datenaktualisierungen in Echtzeit effizient empfangen.

• Flexible Datenformatierung: Sie können ein bevorzugtes Format für die nahtlose Integration mit vorhandenen Tools auswählen.

• Optimierte Integration: AsyncAPI fördert eine reibungslose Interaktion mit verschiedenen Anwendungen und Tools, die häufig von Entwicklern und Data Scientists verwendet werden.

• Garantierte Datenintegrität: Durch die Übernahme der Kernstärke von Oracle GoldenGate stellen Data Streams die Datendauerhaftigkeit sicher, indem Änderungen repliziert werden, die in der Quelldatenbank festgeschrieben werden.

Hinweis: Die Data Streams-Funktionalität ist mit Oracle GoldenGate for Distributed Applications and Analytics oder mit Oracle GoldenGate for Big Data Targets lizenziert. Weitere Informationen finden Sie unter Oracle GoldenGate for Distributed Applications and Analytics im Oracle GoldenGate-Lizenzierungshandbuch.

Laufzeitfolge

1. Extract erfasst festgeschriebene Quelländerungen und schreibt sie in einen lokalen oder Remote-Oracle GoldenGate-Trail.

2. Ein Administrator erstellt eine Data Stream-Ressource, die den Quelltrail und optionale Filter- und JSON-Ausgabeeinstellungen identifiziert.

3. Der Service generiert ein AsyncAPI YAML-Dokument für den Datenstream.

4. Ein Client stellt eine WebSocket-Verbindung her und stellt begin=now, begin=earliest, einen ISO 8601-Zeitstempel oder einen gespeicherten pos-Wert bereit.

5. Der Service überträgt JSON-Nachrichten kontinuierlich. Das Protokoll wartet nicht auf eine Bestätigung pro Datensatz durch den Client.

6. Der Client verarbeitet Datensätze und speichert die pos dauerhaft aus dem zuletzt erfolgreich verarbeiteten DML- oder DDL-Datensatz.

Was der Service sendet

• JSON-Schemadatensätze, die Datensätze im Stream beschreiben.

• Ein Streammetadaten-Datensatz, der den Producer, die Quelldatenbank, den Host und die Quelltraildaten identifiziert.

• Objektmetadatensätze, die Tabellenspalten, primitive JSON-Typen, Aufhebbarkeit und Schlüsselmitgliedschaft beschreiben.

• DML-Datensätze für INSERT, UPDATE und DELETE.

• DDL-Datensätze, die das betroffene Objekt identifizieren und die DDL-Anweisung enthalten.

• Optionale JSON-Envelopes CloudEvents, deren data-Element den Datensatz GoldenGate enthält.