Flussi dati

Oracle GoldenGate Data Streams fornisce un endpoint WebSocket che pubblica continuamente i record di modifica sottoposti a commit da un trail Oracle GoldenGate. Un client crea o utilizza una risorsa Data Stream denominata, si connette all'endpoint generato, riceve record JSON, elabora ogni record e salva l'ultima posizione elaborata correttamente per il recupero.

Data Streams utilizza un documento AsyncAPI 3.0 per descrivere l'endpoint, il canale, i parametri di query, la forma del messaggio e gli schemi di record. Il AsyncAPI YAML generato per il flusso specifico è il contratto autorevole per quel flusso. Utilizzarlo invece di copiare un nome host generico, un percorso canale o una definizione di payload da un'altra distribuzione.

Vantaggi per sviluppatori e data scientist

• Maggiore inclusione dei dati: il modello di pubblicazione o sottoscrizione basato su AsyncAPI consente alle applicazioni di ricevere in modo efficiente aggiornamenti dei dati in tempo reale.

• Formattazione flessibile dei dati: è possibile selezionare un formato preferito per una perfetta integrazione con gli strumenti esistenti.

• Integrazione semplificata: AsyncAPI favorisce un'interazione fluida con varie applicazioni e strumenti comunemente utilizzati da sviluppatori e data scientist.

• Integrità garantita dei dati: ereditando la forza di base di Oracle GoldenGate, i flussi di dati garantiscono la durabilità dei dati replicando le modifiche durante il commit nel database di origine.

Nota: la funzionalità Data Streams viene concessa in licenza con Oracle GoldenGate for Distributed Applications and Analytics o con Oracle GoldenGate for Big Data Targets. Per i dettagli, fai riferimento a Oracle GoldenGate for Distributed Applications and Analytics nel manuale Oracle GoldenGate Licensing Guide.

Sequenza runtime

1. Extract acquisisce le modifiche di origine di cui è stato eseguito il commit e le scrive in un trail Oracle GoldenGate locale o remoto.

2. Un amministratore crea una risorsa Data Stream che identifica il trail di origine e le impostazioni facoltative di filtro e output JSON.

3. Il servizio genera un documento YAML AsyncAPI per il flusso di dati.

4. Un client stabilisce una connessione WebSocket e fornisce begin=now, begin=earliest, un indicatore orario ISO 8601 o un valore pos salvato.

5. Il servizio esegue il push continuo dei messaggi JSON. Il protocollo non attende una conferma per record dal client.

6. Il client elabora i record e salva in modo permanente il file pos dall'ultimo record DML o DDL elaborato correttamente.

Cosa invia il servizio

• Record dello schema JSON che descrivono i record nel flusso.

• Record di metadati di flusso che identifica le informazioni di producer, database di origine, host e trail di origine.

• Record di metadati oggetto che descrivono le colonne di tabella, i tipi primitivi JSON, la annullabilità e l'appartenenza alla chiave.

• Record DML per INSERT, UPDATE e DELETE.

• Record DDL che identificano l'oggetto interessato e contengono l'istruzione DDL.

• Buste JSON CloudEvents facoltative il cui membro data contiene il record GoldenGate.