將 Kafka 串流資料連線至 Oracle Autonomous Database
您可以建立運算執行處理並安裝 Kafka,以產生器身分傳送訊息,或在 OCI 主控台中使用下列步驟。
- 登入 OCI 主控台並前往 Marketplace 。
- 在所有應用程式下,搜尋 GoldenGate 串流分析。
- 按一下啟動堆疊。
- 提供 VCN 詳細資訊,並新增 SSH 公開金鑰,以供日後使用私密金鑰登入 GoldenGate 串流分析執行處理。
附註:
此 GoldenGate Stream Analytics 執行處理已安裝內建範例 Kafka 串流 (產生器),如果您有自己的 Kafka 串流,也可以使用它。
建立自治式資料庫
- 按一下左上方的功能表中的 Oracle Database ,然後按一下 Autonomous Database 。
- 在自治式資料庫首頁中,按一下建立 Autonomous Database 。
- 選取要建立資料庫的區間。
- 顯示名稱:輸入容易操作的描述或其他資訊,可協助您輕鬆識別 Autonomous Database。
- 資料庫名稱:提供新 Autonomous Database 的名稱。
- 選擇工作負載類型作為資料倉儲。
- 選擇部署類型作為無伺服器。
- 選擇資料庫版本作為 19c,ECPU 數目為 2,儲存 (TB) 則為 1。
- 建立管理員證明資料並輸入密碼。密碼必須符合以 Oracle Cloud 安全標準為基礎的強式密碼複雜性條件。如需有關密碼複雜性規則的詳細資訊,請參閱建立資料庫使用者。
- 將網路存取選擇為安全地從任何地方存取。
- 將剩餘的參數保持為預設值,然後按一下建立 Autonomous Database 。
您的顯示器會顯示佈建,直到有新的 Autonomous Database 可用為止。
建立表格以儲存 Kafka 訊息
- 開啟 SQLDeveloper,然後按一下 + 圖示來建立 Oracle 資料庫連線。
- 輸入連線名稱,提供資料庫使用者名稱和密碼。
- 選取連線類型作為雲端公事包,然後瀏覽
wallet.zip
檔案,然後按一下連線。必須順利建立連線。 - 使用下列指令檔建立範例表格:
CREATE TABLE "TEST"."SAMPLE" ( "FRUIT" VARCHAR2(50 BYTE)", "TOTAL" VARCHAR2(50 BYTE)", "COLOR" VARCHAR2(50 BYTE)" )
建立 Oracle Integration 3 執行處理
- 在 OCI 主控台中,按一下開發人員服務,然後在應用程式整合下,按一下整合。
- 在「整合執行處理」首頁中,按一下建立執行處理。
- 輸入名稱,選取版本作為 Oracle Integration 3 ,選取版本作為企業,選取資源配置作為生產,選取授權類型作為訂閱新的 Oracle Integration 執行處理。
- 按一下建立。
執行處理建立之後,請按一下「服務主控台」,這會將您帶到新的視窗。
在 Oracle Integration 3 中建立 Oracle Autonomous Data Warehouse 連線
- 在 Oracle Integration 執行處理中,按一下漢堡功能表,然後在設計下,選取連線。
- 按一下建立,搜尋 Oracle ADW 並選取。
- 輸入與此連線相關的名稱、識別碼、角色作為觸發程式與呼叫、關鍵字及描述。
- 在特性下,展開選擇性特性,然後輸入服務名稱。
- 在安全性下,選取 JDBC over SSL ,然後上傳
Wallet.zip
檔案。 - 輸入建立資料庫時所指定的公事包密碼。
- 輸入「資料庫服務使用者名稱」作為管理員。
- 輸入管理員使用者的「資料庫服務密碼」。
- 選取存取類型作為公用閘道。
- 按一下右上方的測試 (Test) 。
- 當您看到顯示的成功訊息時,請按一下儲存。
Kafka 執行處理中的關聯代理程式群組
您需要在安裝 Kafka 串流的執行處理中執行代理程式。
- 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取代理程式。
- 在代理人頁面中,按一下建立。
- 輸入名稱、 ID 、描述,然後按一下建立。
- 建立代理程式之後,按一下下載,然後按一下連線代理程式。
- 順利下載之後,請將
oic_conn_agent_installer.zip
複製到執行 Kafka 主題及產生訊息的 Kafka 執行處理。在此解決方案手冊範例中,它是 Oracle GoldenGate Stream Analytics 執行處理。 - 解壓縮
oic_conn_agent_installer.zip
。 - 在狀態欄下,按一下 ... 圖示,然後按一下下載組態。
- 複製
InstallerProfile.cfg
檔案,並將此檔案複製到 Kafka 執行處理。 - 取代 Kafka 執行處理中的
InstallerProfile.cfg
檔案。 - 取代
InstallerProfile.cfg
之後,請執行下列敘述句,以使用此命令在 Oracle GoldenGate Stream Analytics 執行處理或您的 Kafka 內部部署執行處理中啟動代理程式:$ java -jar connectivityagent.jar
代理程式必須順利啟動,讓它繼續執行而不停止。如需詳細資訊,請參閱在 Oracle Integration Generation 2 中使用整合
在 Oracle Integration 3 中建立 Kafka 連線
- 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取連線。
- 按一下建立,搜尋 Apache Kafka 並選取。
- 輸入名稱、 ID 、角色作為此連線的觸發程式和呼叫、關鍵字和描述。
- 在特性底下,輸入 Bootstrap 伺服器:instancename:9092。
附註:
在 Kafka 執行處理正在使用的 VCN 中,您必須在安全清單底下新增連接埠 9092 以允許流量。 - 在安全性選取無安全性原則。
- 選取存取類型作為連線代理程式,然後按一下關聯代理程式群組。
- 選取「代理程式」,然後按一下使用。
- 按一下測試。您應該收到成功訊息。
- 按一下儲存。
在 Oracle Integration 3 中建立 Kafka 與 Oracle Autonomous Data Warehouse 之間的整合
- 在 Oracle Integration 3 執行處理中,按一下漢堡功能表,然後在設計下,選取整合。
- 按一下建立,然後在建立整合對話方塊中,選取應用程式。
- 將 I 整合名稱輸入為 KafkaToADW ,然後按一下建立。
附註:
您會發現兩個為 Kafka 建立的連線,而 Oracle Autonomous Data Warehouse 為觸發程式。 - 選取 Kafka,系統會提示您輸入觸發程式的名稱,選取訊息類型作為用戶,然後按一下繼續。
- 從下拉式清單中選取 Kafka 主題,然後輸入用戶名稱、將欄位保留為預設值,然後按一下繼續。
- 選取訊息結構作為範例 JSON 文件,然後拖放相同的 JSON 檔案。
- 在摘要視窗中,檢查所有詳細資訊,然後按一下完成。
- 您會在建立的「觸發程式」底下看到向下箭頭。
- 按一下 + 圖示,然後在呼叫底下,選取 ADW,就會看到另一個名稱為 Map 的方塊。
- 將滑鼠移至呼叫上方,然後按一下 ... ,然後選取編輯。
- 提供名稱,然後選取「在表格執行作業」欄位的「您要執行什麼作業」欄位?,選取插入,然後按一下繼續。
- 選取表格,按一下繼續,然後在「摘要」頁面中按一下完成。
- 接著,將滑鼠移至地圖方塊上,按一下 ... 並選取編輯。
- 在「對應」頁面中,連線來源和目標欄位。
- 按一下驗證,即可順利驗證它。
- 在「整合」頁面上,按一下儲存,這應該成功設定整合。
- 在「整合」首頁上,將滑鼠移至狀態欄位上,然後按一下「電源」圖示來啟用。
- 您將會看到名稱為啟用整合的視窗,選取生產,然後按一下啟用。這將會順利啟用整合以使用 Kafka 訊息。
- 啟動 Kafka 主題,您會看到儲存在資料庫中的訊息。開啟 SQLDeveloper,開啟表格並按一下資料頁籤以查看訊息。
- 如果您有自己的 Kafka 串流,就可以使用相同的格式開始產生訊息。
- 如果您使用 Oracle GoldenGate Stream Analytics,請在 Oracle GoldenGate Stream Analytics 執行處理上使用 SSH,然後移至
/u01/app/osa/utilities/kafka-utils
資料夾。 - 您可以使用
sample.json
作為內送資料。使用此 json 格式:{"fruit": "Apple","total": "Large","color": "Red"}
- 執行下列命令以將資料饋送循環為 Kafka 主題:
opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex