Connettere i dati dei flussi Kafka a Oracle Autonomous Database

Connetti i dati dei flussi Kafka a Oracle Autonomous Database

Oracle GoldenGate Stream Analytics consente agli utenti di creare pipeline e trasformazioni dei dati scalabili per ottenere informazioni aziendali agili in tempo reale.

In questa sezione si presume che Oracle Autonomous Database sia già stato installato dalla sezione Prima di iniziare. Verrà ora descritto come eseguire le operazioni riportate di seguito.

Accedi alla console GGSA.
Configura il producer Kafka per l'inclusione dei dati.
Connettere GGSA per Kafka ad Autonomous Database.

Accedi alla console GGSA

Nella console OCI, in Computazione, selezionare Istanze. L'istanza del marketplace GGSA deve essere attiva e in esecuzione.
Copiare l'indirizzo IP pubblico.
Eseguire il login all'istanza utilizzando la chiave privata e controllare README.txt in /home/opc.
Copiare la password dell'interfaccia utente OSA.
Aprire un browser e immettere https://<Public IP Address>/osa.
Immettere il Nome utente come osaadmin e utilizzare la password copiata da README.txt.

Configurare il producer Kafka per includere i dati

Per creare un flusso Kafka, eseguire le operazioni riportate di seguito.

Nella pagina Catalogo fare clic su Crea nuovo elemento.
Passare il puntatore del mouse su Connessione e selezionare Kafka dal sottomenu.
Nella schermata Proprietà tipo, immettere un Nome e selezionare Tipo di connessione come Kafka. Per questo esempio verrà utilizzato il Kafka installato nell'istanza GGSA.
Nella schermata Dettagli connessione immettere localhost:2181 nel campo Zookeepers.
Fare clic su Test connessione. Dovrebbe essere visualizzato un messaggio Riuscito.
Fare clic su Salva.

Nota:
Assicurarsi che la porta 2181 sia aperta in entrata.

Per avviare l'argomento Kafka e includere i dati, attenersi alla procedura riportata di seguito.

SSH all'istanza GGSA e andare alla cartella /u01/app/osa/utilities/kafka-utils.
Utilizzare complex.json come dati in entrata.
Eseguire il comando riportato di seguito per eseguire il loop del data feed come argomento Kafka.
```
opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex
```
L'argomento Kafka complex inizia a produrre i dati e si prepara per l'inclusione.
Nella pagina Catalogo fare clic su Crea nuovo elemento per creare un flusso utilizzando la connessione Kafka.
Posizionare il puntatore del mouse su Stream e selezionare Kafka dal sottomenu.
Nella schermata Proprietà tipo, immettere un nome e selezionare Tipo di flusso come Kafka.
Fare clic su Next.
Nella schermata Dettagli origine selezionare la connessione Kafka creata in Connessioni.
1. Selezionare Nome argomento come complesso.
2. Selezionare Formato dati come JSON.
Fare clic su Next.
Nella schermata Formato dati lasciare i valori predefiniti.
Fare clic su Next.
Nella schermata Forma, la forma JSON in entrata viene derivata da Stream.
Fare clic su Salva. Creazione del flusso Kafka riuscita.

Connettere GGSA per Kafka ad Autonomous Database

Attenersi alla procedura riportata di seguito per creare una connessione a Oracle Autonomous Database da GGSA.

Nella pagina Catalogo fare clic su Crea nuovo elemento.
Passare il puntatore del mouse su Connessione e selezionare Oracle Database dal sottomenu.
Nella schermata Proprietà tipo, immettere un Nome e selezionare Tipo di connessione come Oracle Database.
Fare clic su Next.
Nella schermata Dettagli connessione, Tipo: Oracle Database, immettere i dettagli della connessione a Autonomous Database.
- Selezionare Wallet in Connetti con e caricare il file wallet.
- Selezionare il Nome servizio/SID dall'elenco a discesa.
- Immettere il nome utente come admin.
- Immettere la password amministratore del database.
Fare clic su Salva. Creazione della connessione a Autonomous Database riuscita.

Eseguire il login a uno schema in Autonomous Database e creare una tabella per ricevere i dati.

CREATE TABLE COMPLEX
        (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
        , STRINGFIELD VARCHAR2(20)
        , OBJECTFIELD_A_KEY NUMBER
        , OBJECTFIELD_A_VALUE NUMBER
        , OBJECTFIELD_C VARCHAR2(20)
        , OBJECTFIELD_E VARCHAR2(20)
        , ARRAYFIELD_0 NUMBER
        , ARRAYFIELD_1 NUMBER
        
    );

Per creare una pipeline in GGSA e impostare l'origine e la destinazione, effettuare le operazioni riportate di seguito.

Nella pagina Catalogo fare clic su Crea nuovo elemento e selezionare Pipeline dall'elenco a discesa.
Passare il puntatore del mouse sulla destinazione e selezionare Tabella database dal sottomenu.
Nella schermata Proprietà tipo, immettere un Nome per la destinazione, quindi selezionare Tipo di destinazione come Tabella database.
Fare clic su Next.
Nella schermata Dettagli destinazione selezionare la tabella Autonomous Database creata in precedenza dall'elenco a discesa.
Fare clic su Next.
Nella schermata Forma, selezionare Nome tabella come complesso dall'elenco a discesa.
Fare clic su Next.
Derivare Forma e fare clic su Salva.

Per impostare la destinazione, effettuare le operazioni riportate di seguito.

Nella pagina Catalogo fare clic su Crea nuovo elemento e selezionare Pipeline dall'elenco a discesa.
Passare il puntatore del mouse sulla destinazione e selezionare Flusso Kafka dal sottomenu.
Fare clic su Salva.
Nella pipeline fare clic con il pulsante destro del mouse sul flusso, selezionare Aggiungi fase, quindi selezionare Destinazione.
Nella finestra Crea fase target immettere un nome e fare clic su Salva.
Selezionare la tabella Destinazione creata in precedenza.
Fare clic su Pubblica per pubblicare la pipeline e rendere disponibili i dati nella tabella di destinazione.
Eseguire il login al database per visualizzare i dati che vengono caricati nella tabella complessa in Autonomous Database.