Kafka에 대한 추출 추가

Kafka 소스에 대한 Extract 추가는 Big Data 배치 버전마다 다릅니다. Big Data 배포 버전에 따라 지침을 따릅니다.

OCI GoldenGate 버전을 확인하려면 배치 세부정보 페이지에서 버전 정보를 확인합니다.

다음 스트리밍 소스에서 메시지를 캡처할 수 있습니다.

  • Apache Kafka
  • OCI Streaming
  • 스키마 레지스트리가 있거나 없는 영향을 받는 Kafka
  • Azure 이벤트 허브
  • Amazon MSK

OCI GoldenGate는 Kafka 토픽 또는 토픽에서 메시지를 읽은 다음 데이터를 GoldenGate Trail 파일에 기록된 논리적 변경 레코드로 변환합니다. GoldenGate 그런 다음 생성된 추적 파일을 사용하여 데이터를 전달하여 RDBMS(관계형 데이터베이스 관리 시스템) 구현을 지원할 수 있습니다.

OCI GoldenGate 빅데이터 배포는 동일한 배포 내에서 여러 소스 기술을 지원하므로 동일한 배포 내에서 서로 다른 지원되는 소스 기술에서 여러 추출을 구성할 수 있습니다. OCI GoldenGate는 인증서 저장소 항목을 사용하여 소스 기술을 식별합니다. 예를 들어, OCI GoldenGate는 인증서의 사용자 ID를 사용하여 Kafka(kafka:// ) 또는 Mongo(Mongo://) Extract를 시작할지 여부를 결정합니다.

추출 추가 (23ai)

Extract를 추가하고 실행하기 전에 다음 사항을 확인하십시오.
  • 이 소스 접속 유형과 관련된 세부정보를 검토합니다.
  • Big Data 배치 콘솔에서 인증서를 생성합니다.
    1. 배치 세부정보 페이지에서 Big Data 배치 콘솔을 실행한 후 로그인합니다.
    2. 관리 서비스의 왼쪽 탐색 메뉴에서 DB 접속을 누릅니다.
    3. DB Connections 페이지에서 Add Credential(더하기 아이콘)을 누릅니다.
    4. 제공된 필드에 다음 세부정보를 입력한 후 제출을 누릅니다.
      • 자격 증명 도메인에 대해 OracleGoldenGate을 입력합니다.
      • 자격 증명 별칭에 kafka을 입력합니다.
      • 사용자 ID의 경우 kafka://를 입력합니다.
      • Password(비밀번호)에 비밀번호를 입력합니다.
      • 비밀번호 확인에 대해 비밀번호를 다시 입력합니다.
Oracle GoldenGate 23ai에서 Extract를 추가하려면 다음을 수행합니다.
  1. OCI GoldenGate 배치 콘솔의 [관리 서비스 홈] 페이지에서 추출 추가를 누릅니다.
  2. 추출 추가 패널의 추출 정보 페이지에서 필요에 따라 다음 필드에 정보를 입력한 다음 다음을 누릅니다.
    • 프로세스 이름을 8자 이하로 입력합니다.
    • 이 프로세스를 다른 프로세스와 구별하는 데 도움이 되는 설명(선택사항)을 입력합니다.
    • 드롭다운에서 소스를 선택합니다.
  3. 추출 옵션 페이지에서 필요에 따라 다음 필드에 정보를 입력한 후 다음을 누릅니다.
    1. 추출 추적의 경우:
      1. 추출 프로세스에 대한 이름을 입력합니다.
      2. 생성된 추적 파일에 대한 사용자정의 위치를 설정하려면 하위 디렉토리 이름을 입력합니다.
      3. 트레일 순서를 입력하여 추적 파일의 시작 번호를 설정합니다.
      4. 생성된 추적 파일의 최대 크기를 설정하려면 트레일 크기를 입력합니다.
      5. 암호화 프로파일을 선택합니다. 암호화 프로파일이 생성되지 않은 경우 로컬 전자 지갑 프로파일이 기본적으로 선택됩니다.
      6. 암호화 알고리즘을 선택합니다.
        • NONE
        • AES256
        • AES192
        • AES128
    2. 소스 인증서에 대해 다음을 선택합니다.
      1. 도메인
      2. 별칭
      3. 시작할 시기/위치
  4. 관리되는 옵션 페이지에서 필요에 따라 다음 선택적 필드에 정보를 입력한 후 다음을 누릅니다.
    • 프로파일 이름
    • 배치 건전성에 중요
    • 자동 시작
    • 자동 재시작

    주:

    프로파일을 추가하고 자동 시작 및 자동 재시작 옵션을 구성하면 네트워크 중단 후 배치가 자동으로 재시작됩니다. 자세한 내용은 관리 프로세스 구성을 참조하십시오.

  5. Parameter file 페이지에서 다음을 갱신합니다.
    1. SOURCEDB USERIDALIAS를 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate로 업데이트
    2. 제공된 부트스트랩 서버의 모든 항목을 수신하려면 테이블 매핑을 그대로 둡니다(TABLE source.*;). 지정된 항목에서 캡처하려면 매핑을 TABLE source.<topic-name>;로 변경합니다. 여기서 <topic-name>은 캡처할 항목의 이름입니다.

      주:

      추출 매핑 형식은 Table SourceSchema.Table입니다. Kafka에는 소스 스키마/테이블이 없습니다. OCI GoldenGate는 첫번째 부분("위 단계의 소스")을 스키마 이름으로 쓰고 두번째 부분은 트레일 파일에 테이블 이름으로 씁니다. 이렇게 하면 캡처된 kafka 메시지를 다른 GoldenGate 지원 대상으로 복제할 수 있습니다.
  6. 생성 및 실행을 눌러 Extract를 생성하고 시작합니다. 생성을 누르면 나중에 추출 페이지에서 추출을 수동으로 시작할 수 있습니다.

추출 추가(21c)

Extract를 생성하기 전에 Big Data 배치 콘솔에서 인증서를 생성합니다.

  1. 배치 페이지에서 Big Data 배치를 선택하여 세부정보를 봅니다.
  2. 배치를 생성할 때 지정된 인증서를 사용하여 Big Data 배치 콘솔에 로그인합니다. Administration Server Overview 페이지가 표시됩니다.
  3. 인증서 추가:
    1. 네비게이션 메뉴를 열고 구성을 누릅니다.
    2. [인증서] 페이지에서 인증서 추가(더하기 아이콘)를 누릅니다.
    3. 제공된 필드에 다음 세부정보를 입력한 후 제출을 누릅니다.
      • 자격 증명 도메인에 대해 OracleGoldenGate을 입력합니다.
      • 자격 증명 별칭에 kafka을 입력합니다.
      • 사용자 ID의 경우 kafka://를 입력합니다.
      • Password(비밀번호)에 비밀번호를 입력합니다.
      • 비밀번호 확인에 대해 비밀번호를 다시 입력합니다.
Big Data 배치 버전 21.9 이상에 대한 OCI GoldenGate에서 Extract for Kafka를 추가하려면 다음을 수행합니다.
  1. 탐색 메뉴에서 개요를 눌러 [관리 서비스 개요] 페이지로 돌아갑니다.
  2. 추출 추가(더하기 아이콘)를 누릅니다.
  3. 추출 추가 페이지에서 다음을 선택하고 다음을 누릅니다.
    • 출처: Kafka
    • 추출 유형: 변경 데이터 캡처 추출
  4. 추출 옵션 페이지에서 다음과 같이 필드에 정보를 입력한 후 다음을 누릅니다.
    • 프로세스 이름에 최대 8자의 이름을 입력합니다.
    • (선택사항) 설명을 입력합니다.
    • Connection Alias에 대해 이전에 할당된 연결 alias를 선택합니다.
    • 시작에서 지금을 선택합니다.
    • [추적 이름]에 2자 이름을 입력합니다.
    • (선택 사항) 소스가 Kafka Connect 프레임워크인 경우 Kafka Connect 사용을 선택합니다.
    • (선택 사항) Kafka Connect가 선택된 경우 사용 가능한 변환기 중 하나를 선택합니다.
      • JSON
      • AVRO
    • (선택 사항) AVRO를 선택한 경우 스키마 레지스트리를 선택합니다.
    • (선택 사항) Managed Options에서 다음을 구성할 수 있습니다.
      • 프로파일 이름
      • 자동 시작
      • 자동 재시작

      주:

      프로파일을 추가하고 자동 시작 및 자동 재시작 옵션을 구성하면 네트워크 중단 후 배치가 자동으로 재시작됩니다. 자세한 내용은 관리되는 프로세스 구성을 참조하십시오.
  5. Parameter file 페이지에서 다음을 갱신합니다.
    1. SOURCEDB USERIDALIAS를 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate로 업데이트
    2. 제공된 부트스트랩 서버의 모든 항목을 수신하려면 테이블 매핑을 그대로 둡니다(TABLE source.*;). 지정된 항목에서 캡처하려면 매핑을 TABLE source.<topic-name>;로 변경합니다. 여기서 <topic-name>은 캡처할 항목의 이름입니다.

      주:

      추출 매핑 형식은 Table SourceSchema.Table입니다. Kafka에는 소스 스키마/테이블이 없습니다. OCI GoldenGate는 첫번째 부분("위 단계의 소스")을 스키마 이름으로 쓰고 두번째 부분은 트레일 파일에 테이블 이름으로 씁니다. 이렇게 하면 캡처된 kafka 메시지를 다른 GoldenGate 지원 대상으로 복제할 수 있습니다.
  6. 생성 및 실행을 누릅니다.
Extract 상태를 확인할 수 있는 Administration Service Overview 페이지로 돌아갑니다. 그런 다음 Extract를 선택하여 세부 정보, 통계 및 보고서를 볼 수 있습니다.