Replicare i dati in Stream Analytics

Impara a replicare i dati da OCI GoldenGate in Stream Analytics.

GoldenGate Stream Analytics è iniziato come un motore di elaborazione di eventi complessi che si è evoluto per eseguire una parte superiore dei framework runtime con Apache Spark e Apache Kafka. Stream Analytics può includere un flusso di dati da qualsiasi origine, ad esempio un database, GoldenGate, Kafka, JMS, REST o anche un file system. Dopo l'inclusione dei dati, è possibile eseguire l'analitica sui dati attivi.

Prima di iniziare

Per completare correttamente questo Quickstart è necessario:

• Autonomous AI Database di origine con dati di esempio caricati e log supplementare abilitato.

  Suggerimento

  È possibile scaricare i dati di esempio OCI GoldenGate, se è necessario utilizzare dati di esempio.

  • In primo luogo, modificare SETUP_USERS_ATP.sql e la password dell'utente SRC_OCIGGLL per rimuovere i caratteri speciali.

  • Utilizzare lo strumento SQL Database Actions di Autonomous AI Database per eseguire i due script per creare lo schema utente e le tabelle.

  • Utilizzare lo strumento SQL per abilitare il log supplementare.

  Per ulteriori dettagli, attenersi alla procedura descritta in Lab 1, Task 3: caricare lo schema ATP.

• Sblocca l'utente GGADMIN nell'istanza di Autonomous AI Database di origine

  1. Nella pagina Dettagli di Autonomous AI Database, selezionare Utenti database dal menu Azioni del database.

     Suggerimento: utilizzare le credenziali di amministratore di Autonomous AI Database fornite al momento della creazione dell'istanza per eseguire il login, se richiesto.

  2. Individuare l'utente GGADMIN, quindi selezionare Modifica dal menu con i puntini di sospensione (tre punti).

  3. Nel pannello Modifica utente immettere una password, confermare la password, quindi deselezionare Account bloccato.

  4. Selezionare Applica modifiche.

Task 1: creare le risorse OCI GoldenGate

1. Creare la distribuzione OCI GoldenGate per la replica dei dati.

2. Creare una connessione per il database di origine.

3. Assegnare la connessione alla distribuzione.

4. Creare ed eseguire un'estrazione.

Task 2: Creare le risorse di Stream Analytics

1. Creare la distribuzione Stream Analytics.

2. Creare una connessione Kafka utilizzando l'IP pubblico dell'istanza Kafka e selezionare Testo non codificato per il protocollo di sicurezza.

3. Creare una connessione GoldenGate.

4. Assegnare le connessioni alla distribuzione di Stream Analytics.

Task 3: Creare ed eseguire le pipeline

1. Avviare la console di distribuzione di Stream Analytics.

2. Esaminare le connessioni nella console di distribuzione Stream Analytics.

   1. Nella console di distribuzione Stream Analytics, selezionare Catalogo.

   2. Nella pagina Catalogo, rivedere l'elenco delle connessioni. Dovresti vedere la connessione GoldenGate, la connessione Autonomous AI Database e la connessione Kafka.

3. Avviare il cluster Big Data GoldenGate:

   1. Nella console di distribuzione OCI GoldenGate Stream Analytics, selezionare Impostazioni di sistema dal menu utente ossaadmin.

   2. Nella finestra di dialogo Impostazione sistema, selezionare Gestisci cluster, quindi espandere Cluster DBG.

   3. Selezionare Avvia cluster. Attendere che lo stato del cluster sia In esecuzione, quindi chiudere la finestra di dialogo.

4. Aggiornare le credenziali di connessione GoldenGate:

   Sebbene la connessione GoldenGate sia disponibile nella console di distribuzione Stream Analytics, le credenziali GoldenGate non vengono trasferite. Aggiornare la password ed eseguire il test della connessione.

   1. Selezionare Catalogo, quindi selezionare la connessione GoldenGate.

   2. Nella finestra di dialogo Modifica connessione selezionare Successivo.

   3. Per Nome utente GG, immettere oggadmin.

   4. Per GG Password, selezionare Modifica password, quindi immettere la password fornita quando è stata creata la distribuzione GoldenGate OCI per la replica dei dati nel task 1.

   5. Selezionare Test della connessione. In caso di esito positivo, selezionare Salva.

5. Utilizzare GoldenGate Extract per creare e avviare GoldenGate Change Data.

   Assicurarsi di utilizzare i dettagli di estrazione forniti nel task 1 nella pagina Dettagli dati modifica GG.

6. Aggiornare il nome utente di Autonomous AI Database.

   Le connessioni al database vengono create con l'utente predefinito, ggadmin. Aggiornare il nome utente a SRC_OCIGGLL (se sono stati utilizzati i dati di esempio forniti) per accedere allo schema e alle tabelle corrispondenti.

   1. Selezionare Catalogo, quindi selezionare la connessione ad Autonomous AI Database.

   2. Nella finestra di dialogo Modifica connessione, selezionare Avanti.

   3. Per Nome utente, immettere SRC_OCIGGLL.

   4. Per Password, immettere la password SRC_OCIGGLL modificata nei passi Prima di iniziare all'inizio di questo avvio rapido.

   5. Selezionare Test della connessione. In caso di esito positivo, selezionare Salva.

7. Utilizzare le tabelle di ricerca di Autonomous AI Database per creare riferimenti per clienti e ordini.

8. Utilizzare la connessione Kafka per creare flussi Kafka per clienti e ordini.

9. Utilizzare lo strumento SQL di Autonomous AI Database per eseguire inserimenti nel database di origine.

   Ad esempio, è possibile eseguire i seguenti inserimenti:

   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);

10. Creare una pipeline che utilizza il flusso Kafka creato nel Passo 8.

11. Aggiungere una fase di query, quindi aggiungere un filtro, per restituire solo gli ordini in cui il CUST_ID del flusso Ordini corrisponde al CUSTID del flusso Clienti.

12. Aggiungi fase di destinazione.

13. Pubblica la pipeline.