Connettere i dati dei flussi Kafka a Oracle Autonomous Database

Connetti i dati in streaming di Kafka a Oracle Autonomous Database

È possibile creare un'istanza di computazione e installare Kafka per inviare messaggi come producer o utilizzare i passi riportati di seguito nella console OCI.

Eseguire il login alla console OCI e andare al Marketplace.
In Tutte le applicazioni cercare GoldenGate Stream Analytics.
Fare clic su Avvia stack.
Fornire i dettagli della VCN e aggiungere una chiave pubblica SSH per eseguire il login all'istanza di Stream Analytics GoldenGate utilizzando la chiave privata in un secondo momento.

Nota
In questa istanza di GoldenGate Stream Analytics è installato un esempio di Kafka Streams (produttori) incorporato. Se si dispone di flussi Kafka personalizzati, è possibile utilizzarlo.

Crea un Autonomous Database

Fare clic su Oracle Database nel menu in alto a sinistra, quindi fare clic su Autonomous Database.
Nella home page Database autonomi fare clic su Crea Autonomous Database.
Selezionare un compartimento in cui si desidera creare il database.
Nome visualizzato: immettere una descrizione intuitiva o altre informazioni che consentano di identificare facilmente Autonomous Database.
Nome database: fornire un nome per il nuovo Autonomous Database.
Scegliere il tipo di carico di lavoro come data warehouse.
Scegliere il tipo di distribuzione come serverless.
Scegliere Versione database come 19c, il conteggio ECPU come 2 e lo storage (TB) come 1.
Creare le credenziali di amministratore e immettere la password. La password deve soddisfare i criteri complessi di complessità delle password basati sugli standard di sicurezza di Oracle Cloud. Per ulteriori informazioni sulle regole di complessità delle password, vedere Crea utenti del database.
Scegli l'accesso alla rete come Accesso sicuro ovunque.
Mantenere i parametri rimanenti come predefiniti e fare clic su Crea Autonomous Database.

La visualizzazione mostra il provisioning fino a quando il nuovo Autonomous Database non è disponibile.

Creare una tabella per memorizzare i messaggi Kafka

Aprire SQLDeveloper e fare clic sull'icona + per creare una connessione al database Oracle.
Immettere un nome di connessione, fornire il nome utente e la password del database.
Selezionare il tipo di connessione come wallet cloud e cercare il file wallet.zip, quindi fare clic su Connetti. Creazione della connessione riuscita.

Creare una tabella di esempio utilizzando lo script seguente:

CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Creare un'istanza di Oracle Integration 3

Nella console OCI fare clic su Servizi di sviluppo e in Integrazione applicazioni fare clic su Integrazione.
Nella home page Istanze di integrazione, fare clic su Crea istanza.
Immettere un nome, selezionare Versione come Oracle Integration 3, Edizione come Enterprise, Forma come Produzione e Tipo di licenza come Sottoscrivi una nuova istanza di Oracle Integration.
Fare clic su Crea.

Una volta creata l'istanza, fai clic sulla console del servizio e questo ti porterà a una nuova finestra.

Creare una connessione a Oracle Autonomous Data Warehouse in Oracle Integration 3

Nell'istanza di Oracle Integration fare clic sul menu hamburger e, in Progetta, selezionare Connessioni.
Fare clic su Crea, cercare Oracle ADW e selezionare.
Immettere un nome, un identificatore, un ruolo come trigger e richiamo, una parola chiave e una descrizione per questa connessione.
In Proprietà, espandere Proprietà facoltative e immettere il nome servizio.
In Sicurezza, selezionare JDBC su SSL e caricare il file Wallet.zip.
Immettere la password wallet fornita al momento della creazione del database.
Immettere il nome utente del servizio di database come amministratore.
Immettere la password del servizio di database per l'utente amministratore.
Selezionare il tipo di accesso come gateway pubblico.
Fare clic su Test in alto a destra.
Quando viene visualizzato un messaggio di successo, fare clic su Salva.

Associa gruppo di agenti nell'istanza Kafka

È necessario un agente che sia in esecuzione nell'istanza in cui sono installati i flussi Kafka.

Nell'istanza di Oracle Integration 3, fare clic sul menu hamburger e in Progetta selezionare Agenti.
Nella pagina Agenti fare clic su Crea.
Immettere un nome, un identificatore, una descrizione e fare clic su Crea.
Dopo aver creato l'agente, fare clic su Scarica, quindi su Agente di connettività.
Dopo il download riuscito, copiare il file oic_conn_agent_installer.zip nell'istanza Kafka in cui gli argomenti Kafka sono in esecuzione e producono messaggi. In questo esempio di guida della soluzione, si tratta dell'istanza di Stream Analytics di Oracle GoldenGate.
Estrarre il file oic_conn_agent_installer.zip.
Nella colonna Stato fare clic sull'icona ..., quindi fare clic su Scarica configurazione.
Copiare il file InstallerProfile.cfg e copiarlo nell'istanza Kafka.
Sostituire il file InstallerProfile.cfg nell'istanza Kafka.
Dopo aver sostituito InstallerProfile.cfg, eseguire l'istruzione seguente per avviare l'agente nell'istanza di Stream Analytics di Oracle GoldenGate o nell'istanza in locale Kafka utilizzando questo comando:
```
$ java -jar connectivityagent.jar
```

L'agente deve essere avviato correttamente, lasciarlo in esecuzione e non arrestarlo. Per ulteriori informazioni, vedere Uso delle integrazioni in Oracle Integration Generation 2

Creare una connessione Kafka in Oracle Integration 3

Nell'istanza di Oracle Integration 3, fare clic sul menu hamburger e in Progetta, selezionare Connessioni.
Fare clic su Crea, cercare Apache Kafka e selezionare.
Immettere un nome, un identificatore, un ruolo come trigger e richiamo, una parola chiave e una descrizione per questa connessione.
In Proprietà, immettere i server bootstrap: nome istanza: 9092.

Nota
Nella VCN utilizzata dall'istanza Kafka, nella lista di sicurezza, è necessario aggiungere la porta 9092 per consentire il traffico.
Selezionare Nessun criterio di sicurezza per Sicurezza.
Selezionare Tipo di accesso come Agente di connettività e fare clic su Associa gruppo di agenti.
Selezionare l'agente e fare clic su Usa.
Fare clic su Test. Si dovrebbe ottenere un messaggio di successo.
Fare clic su Salva.

Crea un'integrazione tra Kafka e Oracle Autonomous Data Warehouse in Oracle Integration 3

Nell'istanza di Oracle Integration 3, fare clic sul menu hamburger e in Progetta selezionare Integrazioni.
Fare clic su Crea e nella finestra di dialogo Crea integrazione selezionare Applicazione.
Immettere il nome integrazione come KafkaToADW e fare clic su Crea.

Nota
Si noteranno due connessioni create per Kafka e Oracle Autonomous Data Warehouse come trigger.
Selezionare Kafka e verrà richiesto di immettere un nome per il trigger, selezionare Tipo di messaggio come Consumatore e fare clic su Continua.
Selezionare l'argomento Kafka dall'elenco a discesa e assegnare un nome al consumer, lasciare i campi come predefiniti e fare clic su Continua.
Selezionare la struttura dei messaggi come documento JSON di esempio, quindi trascinare e rilasciare lo stesso file JSON.
Nella finestra Riepilogo, controllare tutti i dettagli e fare clic su Fine.
Si noterà una freccia rivolta verso il basso sotto il trigger creato.
Fare clic sull'icona + e in Richiama selezionare ADW. Verrà visualizzata una casella aggiuntiva denominata Mappa.
Spostare il mouse su Richiama e fare clic su ..., quindi selezionare Modifica.
Fornire un nome e selezionare Esegui un'operazione su una tabella per il campo Quali operazioni si desidera eseguire?, selezionare Inserisci e fare clic su Continua.
Selezionare la tabella, fare clic su Continua e nella pagina Riepilogo fare clic su Fine.
Successivamente, spostare il mouse sulla casella Mappa, fare clic su ... e selezionare Modifica.
Nella pagina Mapping connettere i campi Origine e Destinazione.
Fare clic su Convalida per convalidarlo correttamente.
Nella pagina Integrazione fare clic su Salva per configurare correttamente l'integrazione.
Nella home page Integrazione spostare il mouse sul campo Stato e fare clic sull'icona Accensione per l'attivazione.
Verrà visualizzata una finestra denominata Attiva integrazione, selezionare Produzione e fare clic su Attiva. L'attivazione dell'integrazione consentirà di utilizzare i messaggi Kafka.
Avviare l'argomento Kafka e verranno visualizzati i messaggi memorizzati nel database. Aprire SQLDeveloper, aprire la tabella e fare clic sulla scheda Dati per visualizzare i messaggi.
Se hai i tuoi flussi Kafka, puoi iniziare a produrre messaggi nello stesso formato.
Se si utilizza Oracle GoldenGate Stream Analytics, passare dalla shell SSH all'istanza di Oracle GoldenGate Stream Analytics e andare alla cartella /u01/app/osa/utilities/kafka-utils.
È possibile utilizzare sample.json come dati in entrata. Utilizzare questo formato json:
```
{"fruit": "Apple","total": "Large","color": "Red"}
```

Eseguire il seguente comando per eseguire il loop del feed di dati come argomento Kafka:

opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Controlla i dati

Aprire la console di Oracle Integration, fare clic su Osservabilità e selezionare Integrazioni.
Verranno forniti i dettagli relativi ai dati ricevuti, elaborati e riusciti.
Aprire Oracle SQL Developer e controllare la tabella per verificare se i dati sono disponibili.
1. Fare clic su Connessioni Oracle e selezionare il database Oracle Autonomous Data Warehouse.
2. Espandere Tabelle, selezionare la tabella Campione e i dati verranno notati.