將 Kafka 串流資料連線至 Oracle Autonomous Database
Oracle GoldenGate Stream Analytics 可讓使用者建立可擴充的資料轉換和分析管線,以提供敏捷的即時業務洞察。
本節假設您已經從「開始之前」區段安裝 Oracle Autonomous Database 。您現在將學習執行下列作業:
- 取得 GGSA 主控台的存取權。
- 設定 Kafka 產生器擷取資料。
- 將 Kafka 的 GGSA 連線至 Autonomous Database 。
取得 GGSA 主控台的存取權
- 在 OCI 主控台的運算底下,選取執行處理。GGSA 市集執行處理應該已經啟動並在執行中。
- 複製公用 IP 位址。
- 使用您的私密金鑰登入執行處理,並檢查
/home/opc底下的README.txt。 - 複製 OSA UI 密碼。
- 開啟瀏覽器並輸入
https://<Public IP Address>/osa。 - 將使用者名稱輸入為
osaadmin,並使用從README.txt複製的密碼。
設定 Kafka 產生器以擷取資料
請依照下列步驟建立 Kafka 串流。
- 在目錄頁面上,按一下建立新項目。
- 將滑鼠游標暫留在 Connection 上,然後從子功能表選取 Kafka 。
- 在類型特性畫面中,輸入名稱,然後選取連線類型作為 Kafka 。在此範例中,我們將使用安裝在 GGSA 執行處理中的 Kafka。
- 在連線詳細資訊畫面的 Zookeepers 欄位中輸入
localhost:2181。 - 按一下測試連線。您應該會看到成功 (Successful) 訊息。
- 按一下儲存。
備註:
確認您的傳入中已開啟連接埠 2181。
請依照下列步驟啟動 Kafka 主題以擷取資料。
- 請透過 SSH 連線至 GGSA 執行處理,然後前往
/u01/app/osa/utilities/kafka-utils資料夾。 - 您將使用
complex.json作為傳入資料。 - 執行下列命令以 Kafka 主題循環資料饋送:
complex Kafka 主題可開始產生資料,準備好進行擷取。opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex - 在目錄頁面上,按一下建立新項目,以使用 Kafka 連線建立串流。
- 將滑鼠游標停留在 Stream 上,然後從子功能表中選取 Kafka。
- 在類型特性畫面中,輸入名稱並選取串流類型作為 Kafka 。
- 按下一步。
- 在來源詳細資訊畫面中,選取您在連線中建立的 Kafka 連線。
- 選取主題名稱作為複雜。
- 選取
JSON作為資料格式。
- 按下一步。
- 在資料格式畫面中,保留預設值。
- 按下一步。
- 在資源配置畫面中,傳入的
JSON資源配置是從「串流」推斷而來的。 - 按一下儲存。Kafka 串流已順利建立。
將 Kafka 的 GGSA 連線至 Autonomous Database
遵循這些步驟,即可從 GGSA 建立與 Oracle Autonomous Database 的連線。
- 在目錄頁面上,按一下建立新項目。
- 將滑鼠游標停留在 Connection 上,然後從子功能表中選取 Oracle Database 。
- 在類型特性畫面上,輸入名稱,然後選取連線類型作為 Oracle Database 。
- 按下一步。
- 在連線詳細資訊的類型:Oracle Database 畫面中,輸入 Autonomous Database 連線詳細資訊。
- 在連線使用中選取公事包,然後上傳公事包檔案。
- 從下拉式清單選取服務名稱 /SID 。
- 以 admin 的身分輸入使用者名稱。
- 輸入資料庫管理員密碼。
- 按一下儲存。Autonomous Database 連線已順利建立。
- 登入 Autonomous Database 中的綱要,然後建立表格以接收資料。
CREATE TABLE COMPLEX ( BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER , STRINGFIELD VARCHAR2(20) , OBJECTFIELD_A_KEY NUMBER , OBJECTFIELD_A_VALUE NUMBER , OBJECTFIELD_C VARCHAR2(20) , OBJECTFIELD_E VARCHAR2(20) , ARRAYFIELD_0 NUMBER , ARRAYFIELD_1 NUMBER );
請依照下列步驟在 GGSA 中建立業務進程並設定來源與目標:
- 在目錄頁面上,按一下建立新項目,然後從下拉式清單中選取業務進程。
- 將滑鼠移至目標上,然後從子功能表中選取資料庫表格。
- 在類型特性畫面中,輸入目標的名稱,選取目標類型作為資料庫表格。
- 按下一步。
- 在目標詳細資訊畫面上,從下拉式清單中選取您先前建立的 Autonomous Database 表格。
- 按下一步。
- 在形狀畫面上,從下拉式清單選取表格名稱作為複雜。
- 按下一步。
- 推斷資源配置並按一下儲存。
請依照下列步驟來設定目標:
- 在目錄頁面上,按一下建立新項目,然後從下拉式清單中選取業務進程。
- 將滑鼠游標暫留在目標上,然後從子功能表中選取 Kafka 串流。
- 按一下儲存。
- 在「管線」中,在串流上按一下滑鼠右鍵,選取新增階段,然後選取目標。
- 在建立目標階段視窗中,輸入名稱並按一下儲存。
- 選取您先前建立的目標表格。
- 按一下發布以發布管線,並讓資料在目標表格中可供使用。
-
登入資料庫以查看載入 Autonomous Database 中複雜表格的資料。