Fluxos de Dados

O Oracle GoldenGate Data Streams fornece um ponto final WebSocket que publica continuamente registros de alteração confirmados de uma trilha do Oracle GoldenGate. Um cliente cria ou usa um recurso nomeado do Data Stream, se conecta ao ponto final gerado, recebe registros JSON, processa cada registro e salva a última posição processada com sucesso para recuperação.

O serviço Data Streams usa um documento AsyncAPI 3.0 para descrever o ponto final, o canal, os parâmetros de consulta, a forma da mensagem e os esquemas de registro. O AsyncAPI YAML gerado para o fluxo específico é o contrato autorizado para esse fluxo. Use-o em vez de copiar um nome de host genérico, um caminho de canal ou uma definição de payload de outra implantação.

Benefícios para desenvolvedores e cientistas de dados

• Ingestão Aprimorada de Dados: O modelo Publicar ou Inscrever com a tecnologia AsyncAPI permite que os aplicativos recebam atualizações de dados em tempo real com eficiência.

• Formatação Flexível de Dados: Você pode selecionar um formato preferencial para integração perfeita com as ferramentas existentes.

• Integração Simplificada: AsyncAPI promove uma interação suave com vários aplicativos e ferramentas comumente usados por desenvolvedores e cientistas de dados.

• Integridade de Dados Garantida: Herdando a força central do Oracle GoldenGate, o serviço Data Streams garante a durabilidade dos dados replicando as alterações à medida que elas são confirmadas no banco de dados de origem.

Observação: A funcionalidade de Fluxos de Dados é licenciada com o Oracle GoldenGate for Distributed Applications and Analytics ou com o Oracle GoldenGate for Big Data Targets. Consulte o Oracle GoldenGate for Distributed Applications and Analytics no Guia de Licenciamento do Oracle GoldenGate para obter detalhes.

Sequência de tempo de execução

1. A extração captura as alterações de origem confirmadas e as grava em uma trilha local ou remota do Oracle GoldenGate.

2. Um administrador cria um recurso do serviço Data Stream que identifica a trilha de origem e as definições opcionais de filtragem e saída JSON.

3. O serviço gera um documento YAML AsyncAPI para o Fluxo de Dados.

4. Um cliente estabelece uma conexão WebSocket e fornece begin=now, begin=earliest, uma marca de data/hora ISO 8601 ou um valor pos salvo.

5. O serviço envia mensagens JSON continuamente. O protocolo não aguarda uma confirmação por registro do cliente.

6. O cliente processa registros e salva de forma durável o pos do último registro DML ou DDL processado com sucesso.

O que o serviço envia

• Registros do Esquema JSON que descrevem registros no fluxo.

• Um registro de metadados de stream que identifica o produtor, o banco de dados de origem, o host e as informações de trilha de origem.

• Registros de metadados de objeto que descrevem colunas de tabela, tipos primitivos JSON, nulidade e associação de chave.

• Registros DML para INSERT, UPDATE e DELETE.

• Registros DDL que identificam o objeto afetado e contêm a instrução DDL.

• Envelopes JSON CloudEvents opcionais cujo membro data contém o registro GoldenGate.