Kafka 플랫폼에서 데이터 캡처

OCI GoldenGate를 사용하여 Kafka 플랫폼 스트리밍 소스에서 메시지를 추출합니다.

개요

OCI GoldenGate를 사용하여 다음 스트리밍 소스의 메시지를 캡처할 수 있습니다.

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka(스키마 레지스트리 포함 또는 제외)
  • Azure 이벤트 허브
  • Amazon MSK

OCI GoldenGate는 Kafka 토픽 또는 토픽의 메시지를 읽은 다음 데이터를 GoldenGate Trail 파일에 기록된 논리적 변경 레코드로 변환합니다. GoldenGate 그런 다음 Replicat 프로세스는 추적 생성 파일을 사용하여 RDBMS 구현을 지원하기 위한 데이터를 전달할 수 있습니다.

작업 1: 소비자 속성 구성

  1. 다음 역직렬화기 또는 변환기 중 하나를 사용하여 Kafka Consumer 속성 파일을 생성합니다. 소스가 Confluent Kafka with Schema Registry의 항목인 경우 Avro 변환기를 사용할 수 있습니다. 기타 소스의 경우 필요에 따라 JSON 변환기 또는 역직렬화기를 사용하십시오.
    • JSON deserializer에 대한 Kafka 소비자 속성: 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • JSON 변환기에 대한 Kafka 소비자 속성:
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Avro 변환기를 위한 Kafka 소비자 속성:
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. 속성 파일을 저장하고 해당 위치를 기록해 둡니다.

작업 2: OCI GoldenGate 리소스 만들기

이 작업은 새 리소스가 없는 경우 새 리소스를 생성하는 방법을 안내합니다. 사용 중인 Big Data 배치가 사용 가능한 최신 버전으로 업그레이드되었는지 확인하십시오.

  1. 빅데이터에 대한 OCI GoldenGate 배포를 생성합니다.
  2. 접속 생성.

    주:

    다음 접속을 생성할 때는 고급 옵션 표시를 누르고 소비자 속성 파일을 업로드해야 합니다.
  3. Big Data 배치에 접속을 지정합니다.

작업 3: 인증서 생성

Extract를 생성하려면 먼저 인증서를 생성해야 합니다.
인증서를 생성하려면 다음과 같이 하십시오.
  1. Deployments 페이지에서 Big Data 배치를 선택합니다.
  2. 배포 세부정보 페이지에서 콘솔 실행을 누릅니다.
  3. 작업 2 단계 1에서 배치를 생성할 때 지정된 사용자 이름과 비밀번호를 사용하여 Big Data 배치에 로그인합니다.
  4. 탐색 메뉴에서 DB 접속을 선택합니다.
  5. 구성 페이지의 데이터베이스 탭에서 DB 접속 추가(더하기 아이콘)를 누른 후 다음과 같이 폼을 완성합니다.
    1. 인증서 도메인의 경우 OracleGoldenGate을 입력합니다.
    2. 인증서 별칭에 kafka을 입력합니다.
    3. 사용자 ID에 kafka://를 입력합니다.
    4. 비밀번호 및 비밀번호 확인에 대해 비밀번호를 입력합니다.
    5. 제출을 누릅니다.

작업 4: 추출 생성

  1. [관리 서비스 개요] 페이지에서 Extract 추가(더하기 아이콘)를 누릅니다.
  2. 다음 값을 사용하여 추출 추가:
    1. Extract 정보 페이지에서 다음과 같이 필드를 완료하고 다음을 누릅니다.
      • Extract 유형에 대해 Integrated Extract을 선택합니다.
      • 프로세스 이름에 추출 이름을 입력합니다.
    2. Extract 옵션 페이지에서 다음과 같이 필드에 정보를 입력한 후 다음을 누릅니다.
      • 도메인의 경우 도메인을 선택합니다.
      • 별칭의 경우 배포에 지정된 연결을 선택합니다.
      • 이름에서 2자 이름을 입력합니다.
    3. [관리 옵션] 페이지에서 필드를 그대로 두고 다음을 누릅니다.
    4. Parameter File 페이지에서 다음을 수행합니다.
      • 지정된 부트스트랩 서버의 모든 항목을 수신하려면 테이블 매핑을 TABLE TESTSCHEMA.*;로 둡니다. 테이블 매핑을 TABLE TESTSCHEMA.<topic-name>;로 설정하여 지정된 토픽에서 캡처할 수도 있습니다.
      • SOURCEDB USERIDALIAS를 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate로 업데이트합니다.
    5. 생성 및 실행을 누릅니다.
Extract 프로세스가 시작되고 이벤트 메시지를 검토할 수 있는 Administration Service Overview 페이지로 돌아갑니다.