注意:
- 此教學課程需要存取 Oracle Cloud。若要註冊免費帳戶,請參閱開始使用 Oracle Cloud Infrastructure Free Tier 。
- 它會使用 Oracle Cloud Infrastructure 證明資料、租用戶及區間的範例值。完成實驗室時,請將這些值替代為您雲端環境特定的值。
使用 OCI Streaming 作為 Kafka 伺服器,從 OCI 日誌記錄收集日誌
簡介
Oracle Cloud Infrastructure (OCI) Streaming 讓 Apache Kafka 的使用者卸載代管您專屬 Zookeeper 和 Kafka 叢集所需的設定、維護及基礎架構管理。串流處理與大多數 Kafka API 相容,讓您無須重新編寫程式碼,即可使用為 Kafka 撰寫的應用程式來傳送訊息,以及接收串流服務中的訊息。
本教學課程將引導您瞭解如何使用 OCI Streaming 服務作為 Kafka 伺服器。此服務將會收到來自 OCI 日誌記錄服務的日誌發布要求,以及來自 OCI 之外的 Logstash 伺服器的訂閱要求。
目標
- 建立 OCI 服務連線器中心
- 建立並使用 OCI Streaming 作為 Kafka 伺服器
- 使用 OCI 服務連線器中心和 OCI 串流 Kafka 到 Logstash 從 OCI 日誌記錄服務取得日誌並進行重新導向
必要條件
-
一個 Oracle Cloud 帳戶。如果您沒有帳戶,可以註冊 Oracle Cloud Free Tier 帳戶。
-
針對 OCI 中的每個服務,您必須提供一些原則才能讓服務相互通訊。如需更多資訊,請參閱以下連結。
架構
本教學課程中將使用下列 OCI 服務:OCI 日誌記錄、OCI 服務連線器中心和 OCI 串流處理,如下列架構所示:
任務 1:設定 Oracle Cloud Infrastructure
-
建立像是 Kafka 伺服器的串流集區。
-
建立串流。這將被視為 Kafka 主題。您需要串流的名稱,才能指定要將 OCI Streaming 發布或訂閱為 Kafka 伺服器的主題。
-
建立服務連線器。建立串流之後,您可以建立服務連線器。您將新增來源記錄日誌和目標串流,如下列影像所示:
-
針對來源組態,請將日誌群組和日誌值留白,讓連線器採用租用戶的所有日誌,如下列影像所示:
-
請為目標組態指定先前建立的串流名稱。
-
作業 2:設定 Logstash 伺服器
-
根據您的偏好,建立 VM 執行處理並設定成可存取
ssh
,或使用具有網際網路存取權的本機工作站。 -
下載要讓 Logstash 伺服器在執行處理中的日誌資源回收。本教學課程使用了
v8.6.1
。 -
下載完成後,請解壓縮套件並移至 Logstash 資料夾。
-
建立兩個檔案:input.conf 和 jaas.conf ,如下列程式碼片段所示。
input.conf
input { kafka { bootstrap_servers => "cell-1.streaming.<oci_region>.oci.oraclecloud.com:9092" topics => ["kafka_topic"] security_protocol => "SASL_SSL" sasl_mechanism => "PLAIN" jaas_path => "./jaas.conf" auto_offset_reset => "earliest" consumer_threads => 1 } } output { stdout { codec => rubydebug } }
jaas.conf
KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="<username_from_kafka_connection_settings>" password="<auth_token>"; };
-
從先前建立的串流集區,從 Kafka 連線設定值中的 SASL 連線字串複製 jaas.conf 檔案的組態。
-
執行下列命令以啟動 Kafka 從屬端的 Logstash,此從屬端將會使用來自 OCI Streaming 的日誌:
./bin/logstash -f input.conf
相關連結
確認
- 作者 - Cristian Vlad (主要雲端架構師)
- 貢獻者 - Gabriel Feodorov (雲端工程師)
其他學習資源
探索 docs.oracle.com/learn 的其他實驗室,或者存取更多 Oracle Learning YouTube 頻道上的免費學習內容。此外,請瀏覽 education.oracle.com/learning-explorer 以成為 Oracle Learning 檔案總管。
如需產品文件,請造訪 Oracle Help Center 。
Collect logs from OCI Logging into Logstash using OCI Streaming as a Kafka server
F79037-01
March 2023
Copyright © 2023, Oracle and/or its affiliates.