Flux de données

Oracle GoldenGate Data Streams fournit une adresse WebSocket qui publie en permanence les enregistrements de modification validés à partir d'une trace Oracle GoldenGate. Un client crée ou utilise une ressource de flux de données nommée, se connecte à l'adresse générée, reçoit des enregistrements JSON, traite chaque enregistrement et enregistre la dernière position traitée pour récupération.

Data Streams utilise un document AsyncAPI 3.0 pour décrire les schémas d'adresse, de canal, de requête, de forme de message et d'enregistrement. Le AsyncAPI YAML généré pour le flux spécifique est le contrat faisant autorité pour ce flux. Utilisez-le au lieu de copier un nom d'hôte générique, un chemin de canal ou une définition de charge utile à partir d'un autre déploiement.

Avantages pour les développeurs et les data scientists

• Ingestion améliorée de données : le modèle de publication ou d'abonnement optimisé par AsyncAPI permet aux applications de recevoir efficacement des mises à jour de données en temps réel.

• Formatage flexible des données : vous pouvez sélectionner un format préféré pour une intégration transparente avec les outils existants.

• Intégration simplifiée : AsyncAPI favorise une interaction fluide avec diverses applications et outils couramment utilisés par les développeurs et les data scientists.

• Intégrité des données garantie : héritant de la force principale d'Oracle GoldenGate, Data Streams assure la durabilité des données en répliquant les modifications au fur et à mesure de leur validation dans la base de données source.

Remarque : la fonctionnalité Data Streams est concédée sous licence avec Oracle GoldenGate for Distributed Applications and Analytics ou avec les cibles Oracle GoldenGate for Big Data. Pour plus d'informations, reportez-vous à Oracle GoldenGate for Distributed Applications and Analytics dans le Guide de licence Oracle GoldenGate.

Séquence d'exécution

1. Le processus Extract capture les modifications source validées et les écrit dans une trace Oracle GoldenGate locale ou distante.

2. Un administrateur crée une ressource de flux de données qui identifie la trace source et les paramètres de filtrage et de sortie JSON facultatifs.

3. Le service génère un document YAML AsyncAPI pour le flux de données.

4. Un client établit une connexion WebSocket et fournit begin=now, begin=earliest, un horodatage ISO 8601 ou une valeur pos enregistrée.

5. Le service transmet des messages JSON en continu. Le protocole n'attend pas un accusé de réception par enregistrement du client.

6. Le client traite les enregistrements et enregistre durablement le fichier pos à partir du dernier enregistrement LMD ou LDD traité.

Ce que le service envoie

• Enregistrements de schéma JSON qui décrivent les enregistrements du flux.

• Enregistrement de métadonnées de flux qui identifie le producteur, la base de données source, l'hôte et les informations de trace source.

• Enregistrements de métadonnées d'objet qui décrivent les colonnes de table, les types primitifs JSON, la capacité d'affectation de valeur NULL et l'appartenance de clé.

• Enregistrements LMD pour INSERT, UPDATE et DELETE.

• Enregistrements LDD qui identifient l'objet affecté et contiennent l'instruction LDD.

• Enveloppes JSON CloudEvents facultatives dont le membre data contient l'enregistrement GoldenGate.