Replicare i dati in Stream Analytics

Impara a replicare i dati da OCI GoldenGate in Stream Analytics.

GoldenGate Stream Analytics è iniziato come un motore di elaborazione di eventi complessi che si è evoluto per eseguire i framework runtime con Apache Spark e Apache Kafka. Stream Analytics può includere un flusso di dati da qualsiasi origine, ad esempio un database, GoldenGate, Kafka, JMS, REST o anche un file system. Dopo l'inclusione dei dati, è possibile eseguire l'analitica sui dati attivi.

Prima di iniziare

Per completare correttamente questo Quickstart è necessario:

  • Autonomous Database di origine con dati di esempio caricati e log supplementare abilitato.

    Suggerimento

    Se è necessario utilizzare dati di esempio, è possibile scaricare i dati di esempio GoldenGate OCI.
    • In primo luogo, modificare SETUP_USERS_ATP.sql e la password dell'utente SRC_OCIGGLL per rimuovere i caratteri speciali.
    • Utilizzare lo strumento SQL Database Actions di Autonomous Database per eseguire i due script per creare lo schema utente e le tabelle.
    • Utilizzare lo strumento SQL per abilitare il log supplementare.
    Per ulteriori dettagli, attenersi alla procedura descritta in Lab 1, Task 3: caricare lo schema ATP.
  • Sblocca l'utente GGADMIN nell'istanza di Autonomous Database di origine
    1. Nella pagina Dettagli di Autonomous Database, selezionare Utenti database dal menu Azioni del database.

      Suggerimento

      Utilizzare le credenziali dell'amministratore di Autonomous Database fornite al momento della creazione dell'istanza per eseguire il login, se richiesto.
    2. Individuare l'utente GGADMIN, quindi selezionare Modifica dal menu con i puntini di sospensione (tre punti).
    3. Nel pannello Modifica utente immettere una password, confermare la password, quindi deselezionare Account bloccato.
    4. Fare clic su Applica modifiche.

Task 1: Creare le risorse OCI GoldenGate

  1. Creare la distribuzione OCI GoldenGate per la replica dei dati.
  2. Creare una connessione per il database di origine.
  3. Assegnare la connessione alla distribuzione.
  4. Creare ed eseguire un'estrazione.

Task 2: Creare le risorse di Stream Analytics

  1. Creare la distribuzione Stream Analytics.
  2. Creare una connessione Kafka utilizzando l'IP pubblico dell'istanza Kafka e selezionare Testo non codificato per il protocollo di sicurezza.
  3. Creare una connessione GoldenGate.
  4. Assegnare le connessioni alla distribuzione di Stream Analytics.

Task 3: Creare ed eseguire le pipeline

  1. Avviare la console di distribuzione di Stream Analytics.
  2. Esaminare le connessioni nella console di distribuzione Stream Analytics.
    1. Nella console di distribuzione Stream Analytics, fare clic su Catalogo.
    2. Nella pagina Catalogo, rivedere l'elenco delle connessioni. La connessione GoldenGate, la connessione Autonomous Database e la connessione Kafka dovrebbero essere visualizzate.
  3. Avviare il cluster Big Data GoldenGate:
    1. Nella console di distribuzione di OCI GoldenGate Stream Analytics, selezionare Impostazioni di sistema dal menu utente ossaadmin.
    2. Nella finestra di dialogo Impostazione sistema, fare clic su Gestisci cluster, quindi espandere Cluster DBG.
    3. Fare clic su Avvia cluster. Attendere che lo stato del cluster sia In esecuzione, quindi chiudere la finestra di dialogo.
  4. Aggiornare le credenziali di connessione GoldenGate:

    Sebbene la connessione GoldenGate sia disponibile nella console di distribuzione di Stream Analytics, le credenziali GoldenGate non vengono trasferite. Aggiornare la password ed eseguire il test della connessione.

    1. Fare clic su Catalogo, quindi sulla connessione GoldenGate.
    2. Nella finestra di dialogo Modifica connessione, fare clic su Avanti.
    3. Per Nome utente GG, immettere oggadmin.
    4. Per GG Password, fare clic su Modifica password, quindi immettere la password fornita quando è stata creata la distribuzione OCI GoldenGate per Data Replication nel task 1.
    5. Fare clic su Prova connessione. In caso di esito positivo, fare clic su Salva.
  5. Utilizzare Estrazione GoldenGate per creare e avviare GoldenGate Modifica dati.

    Assicurarsi di utilizzare i dettagli di estrazione forniti nel task 1 nella pagina Dettagli dati modifica GG.

  6. Aggiornare il nome utente di Autonomous Database.

    Le connessioni al database vengono create con l'utente predefinito, ggadmin. Aggiornare il nome utente a SRC_OCIGGLL (se sono stati utilizzati i dati di esempio forniti) per accedere allo schema e alle tabelle corrispondenti.

    1. Fare clic su Catalogo, quindi fare clic sulla connessione ad Autonomous Database.
    2. Nella finestra di dialogo Modifica connessione, fare clic su Successivo.
    3. Per Nome utente, immettere SRC_OCIGGLL.
    4. Per Password, immettere la password SRC_OCIGGLL modificata nei passi Prima di iniziare all'inizio di questo avvio rapido.
    5. Fare clic su Prova connessione. In caso di esito positivo, fare clic su Salva.
  7. Utilizzare le tabelle di ricerca di Autonomous Database per creare riferimenti per clienti e ordini.
  8. Utilizzare la connessione Kafka per creare flussi Kafka per clienti e ordini.
  9. Utilizzare lo strumento Autonomous Database SQL per eseguire gli inserimenti nel database di origine.
    Ad esempio, è possibile eseguire i seguenti inserimenti:
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Creare una pipeline che utilizzi il flusso Kafka creato nel Passo 8.
  11. Aggiungere una fase Query, quindi aggiungere un filtro, per restituire solo gli ordini in cui il valore CUST_ID del flusso Ordini corrisponde al valore CUSTID del flusso Clienti.
  12. Aggiungi fase di destinazione.
  13. Pubblica la pipeline.