Kafka 플랫폼에서 데이터 캡처

OCI GoldenGate를 사용하여 Kafka 플랫폼 스트리밍 소스에서 메시지를 추출합니다.

개요

OCI GoldenGate를 사용하여 다음 스트리밍 소스에서 메시지를 캡처할 수 있습니다.

• Apache Kafka

• OCI Streaming

• Confluent Kafka(Confluent Schema Registry 포함 또는 제외)

• Azure 이벤트 허브

• Amazon MSK

• Microsoft Fabric Eventstream

OCI GoldenGate는 Kafka 토픽 또는 토픽에서 메시지를 읽은 다음 GoldenGate Trail 파일에 기록된 논리적 변경 레코드로 데이터를 변환합니다. 그러면 GoldenGate Replicat 프로세스에서 추적 생성 파일을 사용하여 데이터를 전달하여 RDBMS 구현을 지원할 수 있습니다.

작업 1: 소비자 속성 구성

1. 다음 deserializers 또는 변환기 중 하나를 사용하여 Kafka Consumer 속성 파일을 생성합니다. 소스가 Confluent 스키마 레지스트리가 있는 Confluent Kafka의 항목인 경우 Avro 변환기를 사용할 수 있습니다. 다른 소스의 경우 필요에 따라 JSON 변환기 또는 deserializer를 사용합니다.

   • JSON deserializer에 대한 Kafka 소비자 속성:

     key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
     value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

   • JSON 변환기에 대한 Kafka 소비자 속성:

     key.converter=org.apache.kafka.connect.json.JsonConverter
     value.converter=org.apache.kafka.connect.json.JsonConverter

   • Avro 변환기에 대한 Kafka 소비자 속성:

     key.converter=io.confluent.connect.avro.AvroConverter
     value.converter=io.confluent.connect.avro.AvroConverter

2. 속성 파일을 저장하고 해당 위치를 기록해 둡니다.

작업 2: OCI GoldenGate 리소스 생성

이 작업은 새 리소스가 없는 경우 만드는 방법을 안내합니다. 사용 중인 Big Data 배치가 사용 가능한 최신 버전으로 업그레이드되었는지 확인합니다.

1. 빅데이터에 대한 OCI GoldenGate 배치를 생성합니다.

2. 접속을 생성합니다.

   주: 다음 접속을 생성할 때는 고급 옵션 표시를 선택한 다음 소비자 속성 파일을 업로드해야 합니다.

   • Apache Kafka 또는 Amazon MSK의 경우 Kafka 연결을 생성합니다.

   • Confluent Kafka의 경우, Confluent Kafka 연결을 생성합니다.

   • Confluent 스키마 레지스트리의 경우 Confluent 스키마 레지스트리 접속을 생성합니다.

   • Azure 이벤트 허브의 경우 Azure 이벤트 허브 연결을 생성합니다.

   • OCI Streaming의 경우 OCI Streaming 연결을 생성합니다.

   • Microsoft Fabric Eventstream의 경우 Microsoft Fabric Eventstream 연결 만들기

3. Big Data 배치에 접속을 지정합니다.

작업 3: 자격증명 생성

Extract를 생성하려면 먼저 인증서를 생성해야 합니다.

인증서를 생성하려면 다음과 같이 하십시오.

1. Deployments 페이지에서 Big Data 배치를 선택합니다.

2. 배치 세부정보 페이지에서 콘솔 실행을 선택합니다.

3. 작업 2 단계 1에서 배치를 생성할 때 지정된 사용자 이름과 비밀번호를 사용하여 Big Data 배치에 로그인합니다.

4. 탐색 메뉴에서 DB 접속을 선택합니다.

5. [구성] 페이지의 [데이터베이스] 탭에서 DB 접속 추가(더하기 아이콘)를 선택한 후 다음과 같이 폼을 완성합니다.

   1. Credential Domain(자격 증명 도메인)에 OracleGoldenGate을 입력합니다.

   2. 자격 증명 별칭에 kafka을 입력합니다.

   3. 사용자 ID에 kafka://를 입력합니다.

   4. 비밀번호 및 비밀번호 확인에 비밀번호를 입력합니다.

   5. 제출을 선택합니다.

작업 4: 추출 생성

1. 홈 페이지에서 추출 추가(더하기 아이콘)를 선택합니다.

2. 다음 값을 사용하여 추출 추가:

   1. 정보 추출 페이지에서 다음과 같이 필드에 정보를 입력한 다음 다음을 선택합니다.

      • 추출 유형에 대해 통합 추출을 선택합니다.

      • 프로세스 이름에 추출의 이름을 입력합니다.

   2. [추출 옵션] 페이지에서 다음과 같이 필드에 정보를 입력한 다음 다음을 선택합니다.

      • 도메인에서 도메인을 선택합니다.

      • 별칭의 경우 배포에 지정된 연결을 선택합니다.

      • 이름에 2자 이름을 입력합니다.

   3. [관리 옵션] 페이지에서 필드를 그대로 두고 다음을 선택합니다.

   4. Parameter File 페이지에서 다음을 수행합니다.

      • 제공된 부트스트랩 서버의 모든 항목을 수신하려면 테이블 매핑을 TABLE TESTSCHEMA.*;로 둡니다. 또한 테이블 매핑을 TABLE TESTSCHEMA.<topic-name>;로 설정하여 지정된 항목에서 캡처할 수 있습니다.

      • SOURCEDB USERIDALIAS를 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate로 업데이트합니다.

   5. 생성 및 실행을 선택합니다.

추출 프로세스 시작 및 검토 이벤트 메시지를 확인할 수 있는 Oracle GoldenGate 홈 페이지로 돌아갑니다.