將 Kafka 串流資料連線至 Oracle Autonomous Database

您可以建立運算執行處理並安裝 Kafka,以產生器身分傳送訊息,或在 OCI 主控台中使用下列步驟。

  1. 登入 OCI 主控台並前往 Marketplace
  2. 所有應用程式下,搜尋 GoldenGate 串流分析
  3. 按一下啟動堆疊
  4. 提供 VCN 詳細資訊,並新增 SSH 公開金鑰,以供日後使用私密金鑰登入 GoldenGate 串流分析執行處理。

    附註:

    此 GoldenGate Stream Analytics 執行處理已安裝內建範例 Kafka 串流 (產生器),如果您有自己的 Kafka 串流,也可以使用它。

建立自治式資料庫

  1. 按一下左上方的功能表中的 Oracle Database ,然後按一下 Autonomous Database
  2. 自治式資料庫首頁中,按一下建立 Autonomous Database
  3. 選取要建立資料庫的區間。
  4. 顯示名稱:輸入容易操作的描述或其他資訊,可協助您輕鬆識別 Autonomous Database。
  5. 資料庫名稱:提供新 Autonomous Database 的名稱。
  6. 選擇工作負載類型作為資料倉儲。
  7. 選擇部署類型作為無伺服器。
  8. 選擇資料庫版本作為 19c,ECPU 數目為 2,儲存 (TB) 則為 1。
  9. 建立管理員證明資料並輸入密碼。密碼必須符合以 Oracle Cloud 安全標準為基礎的強式密碼複雜性條件。如需有關密碼複雜性規則的詳細資訊,請參閱建立資料庫使用者
  10. 將網路存取選擇為安全地從任何地方存取
  11. 將剩餘的參數保持為預設值,然後按一下建立 Autonomous Database
您的顯示器會顯示佈建,直到有新的 Autonomous Database 可用為止。

建立表格以儲存 Kafka 訊息

  1. 開啟 SQLDeveloper,然後按一下 + 圖示來建立 Oracle 資料庫連線
  2. 輸入連線名稱,提供資料庫使用者名稱和密碼。
  3. 選取連線類型作為雲端公事包,然後瀏覽 wallet.zip 檔案,然後按一下連線。必須順利建立連線。
  4. 使用下列指令檔建立範例表格:
    CREATE TABLE "TEST"."SAMPLE"
            (    "FRUIT" VARCHAR2(50 BYTE)",
                 "TOTAL" VARCHAR2(50 BYTE)",
                 "COLOR" VARCHAR2(50 BYTE)"
            )

建立 Oracle Integration 3 執行處理

  1. 在 OCI 主控台中,按一下開發人員服務,然後在應用程式整合下,按一下整合
  2. 在「整合執行處理」首頁中,按一下建立執行處理
  3. 輸入名稱,選取版本作為 Oracle Integration 3 ,選取版本作為企業,選取資源配置作為生產,選取授權類型作為訂閱新的 Oracle Integration 執行處理
  4. 按一下建立
執行處理建立之後,請按一下「服務主控台」,這會將您帶到新的視窗。

在 Oracle Integration 3 中建立 Oracle Autonomous Data Warehouse 連線

  1. 在 Oracle Integration 執行處理中,按一下漢堡功能表,然後在設計下,選取連線
  2. 按一下建立,搜尋 Oracle ADW 並選取。
  3. 輸入與此連線相關的名稱識別碼角色作為觸發程式與呼叫關鍵字描述
  4. 特性下,展開選擇性特性,然後輸入服務名稱
  5. 安全性下,選取 JDBC over SSL ,然後上傳 Wallet.zip 檔案。
  6. 輸入建立資料庫時所指定的公事包密碼
  7. 輸入「資料庫服務使用者名稱」作為管理員。
  8. 輸入管理員使用者的「資料庫服務密碼」。
  9. 選取存取類型作為公用閘道
  10. 按一下右上方的測試 (Test)
  11. 當您看到顯示的成功訊息時,請按一下儲存

Kafka 執行處理中的關聯代理程式群組

您需要在安裝 Kafka 串流的執行處理中執行代理程式。

  1. 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取代理程式
  2. 代理人頁面中,按一下建立
  3. 輸入名稱ID描述,然後按一下建立
  4. 建立代理程式之後,按一下下載,然後按一下連線代理程式
  5. 順利下載之後,請將 oic_conn_agent_installer.zip 複製到執行 Kafka 主題及產生訊息的 Kafka 執行處理。在此解決方案手冊範例中,它是 Oracle GoldenGate Stream Analytics 執行處理。
  6. 解壓縮 oic_conn_agent_installer.zip
  7. 狀態欄下,按一下 ... 圖示,然後按一下下載組態
  8. 複製 InstallerProfile.cfg 檔案,並將此檔案複製到 Kafka 執行處理。
  9. 取代 Kafka 執行處理中的 InstallerProfile.cfg 檔案。
  10. 取代 InstallerProfile.cfg 之後,請執行下列敘述句,以使用此命令在 Oracle GoldenGate Stream Analytics 執行處理或您的 Kafka 內部部署執行處理中啟動代理程式:
    $ java -jar connectivityagent.jar
代理程式必須順利啟動,讓它繼續執行而不停止。如需詳細資訊,請參閱在 Oracle Integration Generation 2 中使用整合

在 Oracle Integration 3 中建立 Kafka 連線

  1. 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取連線
  2. 按一下建立,搜尋 Apache Kafka 並選取。
  3. 輸入名稱ID角色作為此連線的觸發程式和呼叫關鍵字描述
  4. 特性底下,輸入 Bootstrap 伺服器:instancename:9092。

    附註:

    在 Kafka 執行處理正在使用的 VCN 中,您必須在安全清單底下新增連接埠 9092 以允許流量。
  5. 安全性選取無安全性原則
  6. 選取存取類型作為連線代理程式,然後按一下關聯代理程式群組
  7. 選取「代理程式」,然後按一下使用
  8. 按一下測試。您應該收到成功訊息。
  9. 按一下儲存

在 Oracle Integration 3 中建立 Kafka 與 Oracle Autonomous Data Warehouse 之間的整合

  1. 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取整合
  2. 按一下建立,然後在建立整合對話方塊中,選取應用程式
  3. 將 I 整合名稱輸入為 KafkaToADW ,然後按一下建立

    附註:

    您會發現兩個為 Kafka 建立的連線,而 Oracle Autonomous Data Warehouse 為觸發程式。
  4. 選取 Kafka,系統會提示您輸入觸發程式的名稱,選取訊息類型作為用戶,然後按一下繼續
  5. 從下拉式清單中選取 Kafka 主題,然後輸入用戶名稱、將欄位保留為預設值,然後按一下繼續
  6. 選取訊息結構作為範例 JSON 文件,然後拖放相同的 JSON 檔案。
  7. 摘要視窗中,檢查所有詳細資訊,然後按一下完成
  8. 您會在建立的「觸發程式」底下看到向下箭頭。
  9. 按一下 + 圖示,然後在呼叫底下,選取 ADW,就會看到另一個名稱為 Map 的方塊。
  10. 將滑鼠移至呼叫上方,然後按一下 ... ,然後選取編輯
  11. 提供名稱,然後選取「在表格執行作業」欄位的「您要執行什麼作業」欄位?,選取插入,然後按一下繼續
  12. 選取表格,按一下繼續,然後在「摘要」頁面中按一下完成
  13. 接著,將滑鼠移至地圖方塊上,按一下 ... 並選取編輯
  14. 在「對應」頁面中,連線來源目標欄位。
  15. 按一下驗證,即可順利驗證它。
  16. 在「整合」頁面上,按一下儲存,這應該成功設定整合。
  17. 在「整合」首頁上,將滑鼠移至狀態欄位上,然後按一下「電源」圖示來啟用。
  18. 您將會看到名稱為啟用整合的視窗,選取生產,然後按一下啟用。這將會順利啟用整合以使用 Kafka 訊息。
  19. 啟動 Kafka 主題,您會看到儲存在資料庫中的訊息。開啟 SQLDeveloper,開啟表格並按一下資料頁籤以查看訊息。
  20. 如果您有自己的 Kafka 串流,就可以使用相同的格式開始產生訊息。
  21. 如果您使用 Oracle GoldenGate Stream Analytics,請在 Oracle GoldenGate Stream Analytics 執行處理上使用 SSH,然後移至 /u01/app/osa/utilities/kafka-utils 資料夾。
  22. 您可以使用 sample.json 作為內送資料。使用此 json 格式:
    {"fruit": "Apple","total": "Large","color": "Red"}
  23. 執行下列命令以將資料饋送循環為 Kafka 主題:
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

檢查資料

  1. 開啟 Oracle Integration 主控台,按一下可觀察性,然後選取整合
  2. 您將會收到、處理及成功的資料明細。
  3. 開啟 Oracle SQL Developer 並檢查表格,確認資料是否可在該處取得。
    1. 按一下 Oracle Connections ,然後選取您的 Oracle Autonomous Data Warehouse 資料庫。
    2. 展開表格,選取「範例」表格,您會看到資料。