將 Kafka 串流資料連線至 Oracle Autonomous Database

Oracle GoldenGate Stream Analytics 可讓使用者建立可擴充的資料轉換和分析管線,以提供敏捷的即時業務洞察。

本節假設您已經從「開始之前」區段安裝 Oracle Autonomous Database 。您現在將學習執行下列作業:

  • 取得 GGSA 主控台的存取權。
  • 設定 Kafka 產生器擷取資料。
  • 將 Kafka 的 GGSA 連線至 Autonomous Database

取得 GGSA 主控台的存取權

  1. 在 OCI 主控台的運算底下,選取執行處理。GGSA 市集執行處理應該已經啟動並在執行中。
  2. 複製公用 IP 位址
  3. 使用您的私密金鑰登入執行處理,並檢查 /home/opc 底下的 README.txt
  4. 複製 OSA UI 密碼。
  5. 開啟瀏覽器並輸入 https://<Public IP Address>/osa
  6. 使用者名稱輸入為 osaadmin,並使用從 README.txt 複製的密碼。

設定 Kafka 產生器以擷取資料

請依照下列步驟建立 Kafka 串流。

  1. 目錄頁面上,按一下建立新項目
  2. 將滑鼠游標暫留在 Connection 上,然後從子功能表選取 Kafka
  3. 類型特性畫面中,輸入名稱,然後選取連線類型作為 Kafka 。在此範例中,我們將使用安裝在 GGSA 執行處理中的 Kafka。
  4. 連線詳細資訊畫面的 Zookeepers 欄位中輸入 localhost:2181
  5. 按一下測試連線。您應該會看到成功 (Successful) 訊息。
  6. 按一下儲存

    備註:

    確認您的傳入中已開啟連接埠 2181。

請依照下列步驟啟動 Kafka 主題以擷取資料。

  1. 請透過 SSH 連線至 GGSA 執行處理,然後前往 /u01/app/osa/utilities/kafka-utils 資料夾。
  2. 您將使用 complex.json 作為傳入資料。
  3. 執行下列命令以 Kafka 主題循環資料饋送:
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex
    complex Kafka 主題可開始產生資料,準備好進行擷取。
  4. 目錄頁面上,按一下建立新項目,以使用 Kafka 連線建立串流。
  5. 將滑鼠游標停留在 Stream 上,然後從子功能表中選取 Kafka。
  6. 類型特性畫面中,輸入名稱並選取串流類型作為 Kafka
  7. 下一步
  8. 來源詳細資訊畫面中,選取您在連線中建立的 Kafka 連線。
    1. 選取主題名稱作為複雜
    2. 選取 JSON 作為資料格式
  9. 下一步
  10. 資料格式畫面中,保留預設值。
  11. 下一步
  12. 資源配置畫面中,傳入的 JSON 資源配置是從「串流」推斷而來的。
  13. 按一下儲存。Kafka 串流已順利建立。

將 Kafka 的 GGSA 連線至 Autonomous Database

遵循這些步驟,即可從 GGSA 建立與 Oracle Autonomous Database 的連線。

  1. 目錄頁面上,按一下建立新項目
  2. 將滑鼠游標停留在 Connection 上,然後從子功能表中選取 Oracle Database
  3. 類型特性畫面上,輸入名稱,然後選取連線類型作為 Oracle Database
  4. 下一步
  5. 連線詳細資訊類型:Oracle Database 畫面中,輸入 Autonomous Database 連線詳細資訊。
    • 連線使用中選取公事包,然後上傳公事包檔案。
    • 從下拉式清單選取服務名稱 /SID
    • admin 的身分輸入使用者名稱
    • 輸入資料庫管理員密碼。
  6. 按一下儲存Autonomous Database 連線已順利建立。
  7. 登入 Autonomous Database 中的綱要,然後建立表格以接收資料。
    CREATE TABLE COMPLEX
            (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
            , STRINGFIELD VARCHAR2(20)
            , OBJECTFIELD_A_KEY NUMBER
            , OBJECTFIELD_A_VALUE NUMBER
            , OBJECTFIELD_C VARCHAR2(20)
            , OBJECTFIELD_E VARCHAR2(20)
            , ARRAYFIELD_0 NUMBER
            , ARRAYFIELD_1 NUMBER
            
        ); 

請依照下列步驟在 GGSA 中建立業務進程並設定來源與目標:

  1. 目錄頁面上,按一下建立新項目,然後從下拉式清單中選取業務進程
  2. 將滑鼠移至目標上,然後從子功能表中選取資料庫表格
  3. 類型特性畫面中,輸入目標名稱,選取目標類型作為資料庫表格
  4. 下一步
  5. 目標詳細資訊畫面上,從下拉式清單中選取您先前建立的 Autonomous Database 表格。
  6. 下一步
  7. 形狀畫面上,從下拉式清單選取表格名稱作為複雜
  8. 下一步
  9. 推斷資源配置並按一下儲存

請依照下列步驟來設定目標:

  1. 目錄頁面上,按一下建立新項目,然後從下拉式清單中選取業務進程
  2. 將滑鼠游標暫留在目標上,然後從子功能表中選取 Kafka 串流
  3. 按一下儲存
  4. 在「管線」中,在串流上按一下滑鼠右鍵,選取新增階段,然後選取目標
  5. 建立目標階段視窗中,輸入名稱並按一下儲存
  6. 選取您先前建立的目標表格。
  7. 按一下發布以發布管線,並讓資料在目標表格中可供使用。
  8. 登入資料庫以查看載入 Autonomous Database複雜表格的資料。