Confluent Kafka에 연결

Confluent Schema Registry 접속과 함께 사용하는 Confluent Kafka에 대한 접속을 생성하여 OCI GoldenGate Big Data 배치에서 소스 또는 대상 역할을 하는 방법을 알아봅니다.

시작하기 전에

다음 사항을 확인합니다.

소스 연결 생성

소스 Confluent Kafka 접속을 생성하려면 다음과 같이 하십시오.

  1. OCI GoldenGate 개요 페이지에서 연결을 선택합니다.

    시작하기 섹션에서 접속 생성을 선택하고 3단계로 건너뛸 수도 있습니다.

  2. [접속] 페이지에서 접속 생성을 선택합니다.

  3. Create Connection 페이지에서 다음과 같이 필드에 정보를 입력합니다.

    1. 이름에 연결의 이름을 입력합니다.

    2. (선택 사항) 설명에 이 연결을 다른 연결과 구별하는 데 도움이 되는 설명을 입력합니다.

    3. (멀티클라우드의 GoldenGate에만 해당) 구독을 선택한 후 다음 필드에 정보를 입력합니다.

      1. 구획 드롭다운에서 리소스 앵커가 상주하는 컴파트먼트를 선택합니다.

      2. 멀티클라우드 파트너 지역을 선택합니다.

      3. 파트너 가용성 영역을 선택합니다. 사용 가능한 옵션은 선택한 멀티클라우드 파트너 영역을 기반으로 채워집니다.

    4. 구획에서 접속을 생성할 구획을 선택합니다.

    5. 유형 드롭다운에서 유연한 Kafka를 선택합니다.

    6. 부트스트랩 서버에서 다음을 수행합니다.

      1. 부트스트랩 서버에 대한 호스트 및 포트 번호를 입력합니다. 호스트 이름은 서브넷에서 분석할 수 없거나 SSL/TLS를 사용하는 경우에만 프라이빗 IP를 입력합니다.

        주: 프라이빗 IP를 입력하면 OCI GoldenGate가 프라이빗 IP를 ip-10-0-0-0.ociggsvc.oracle.vcn.com 형식으로 재작성합니다.

        참고: 클러스터의 모든 노드에 FQDN이 있어야 프라이빗 끝점을 통과할 수 있습니다.

      2. (선택 사항) + 부트스트랩 서버를 선택하여 다른 부트스트랩 서버를 추가합니다.

    7. 보안 프로토콜의 경우 다음 중에서 선택합니다.

      • 일반 텍스트

      • 일반 텍스트에 대한 SASL을 수행한 다음 사용자 이름 및 비밀번호를 제공합니다.

      • SASL over SSL 후 필요에 따라 사용자 이름, 암호, 보안 저장소 및 키 저장소 값을 제공합니다.

      • SSL을 사용한 다음 필요에 따라 보안 저장소 및 키 저장소 값을 제공합니다.

    8. 고급 옵션을 표시합니다를 확장합니다. 다음과 같은 옵션을 구성할 수 있습니다.

      • 보안

        • 이 접속에 비밀번호 암호를 사용하지 않으려는 저장소 암호 사용의 선택을 해제합니다. 선택되지 않은 경우:

          • 모든 암호화 키 관리를 Oracle에 그대로 두려면 Oracle 관리 암호화 키 사용을 선택합니다.

          • 고객 관리 암호화 키 사용을 선택하여 OCI 저장소에 저장된 특정 암호화 키를 선택하여 접속 인증서를 암호화합니다.

      • 네트워크 접속

        • 공유 끝점 - 지정된 배치와 끝점을 공유합니다. 배포의 수신 IP에서 연결을 허용해야 합니다.

        • 전용 엔드포인트 - VCN의 지정된 서브넷에 있는 전용 엔드포인트를 통한 네트워크 트래픽용입니다. 이 접속의 수신 IP에서 접속을 허용해야 합니다.

          참고:

          • 전용 연결이 7일 동안 할당되지 않은 상태로 유지되면 서비스가 해당 연결을 공유 연결로 변환합니다.
          • Oracle GoldenGate 연결에 대해 자세히 알아보십시오.

      • 설정: Kafka에서 캡처하려면 다음 deserializers 또는 변환기 중 하나를 사용하여 Kafka Consumer 속성 파일을 생성합니다.

        • JSON deserializer에 대한 Kafka 소비자 속성:

          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

        • JSON 변환기에 대한 Kafka 소비자 속성:

          key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

        • Avro 변환기에 대한 Kafka 소비자 속성:

          key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter

      • 보안 속성: Zero Trust Packet Routing(ZPR)을 사용하여 이 접속에 대한 액세스를 제어하는 보안 속성을 추가합니다.

      • 태그: 리소스를 구성하기 위한 태그를 추가합니다.

  4. 생성을 선택합니다.

접속이 접속 목록에 나타납니다. 여기서 접속을 선택하여 세부정보를 볼 수 있습니다. 또한 Confluent Schema Registry에 대한 접속을 생성한 다음 Big Data 배치에 두 접속을 모두 지정하십시오.

대상 접속 생성

대상 Confluent Kafka 접속을 생성하려면 다음과 같이 하십시오.

  1. OCI GoldenGate 개요 페이지에서 연결을 선택합니다.

    시작하기 섹션에서 접속 생성을 선택하고 3단계로 건너뛸 수도 있습니다.

  2. [접속] 페이지에서 접속 생성을 선택합니다.

  3. Create Connection 페이지에서 다음과 같이 필드에 정보를 입력합니다.

    1. 이름에 연결의 이름을 입력합니다.

    2. (선택 사항) 설명에 이 연결을 다른 연결과 구별하는 데 도움이 되는 설명을 입력합니다.

    3. (멀티클라우드의 GoldenGate에만 해당) 구독을 선택한 후 다음 필드에 정보를 입력합니다.

      1. 구획 드롭다운에서 리소스 앵커가 상주하는 컴파트먼트를 선택합니다.

      2. 멀티클라우드 파트너 지역을 선택합니다.

      3. 파트너 가용성 영역을 선택합니다. 사용 가능한 옵션은 선택한 멀티클라우드 파트너 영역을 기반으로 채워집니다.

    4. 구획에서 접속을 생성할 구획을 선택합니다.

    5. 유형 드롭다운에서 유연한 Kafka를 선택합니다.

    6. 부트스트랩 서버에서 다음을 수행합니다.

      1. 트래픽 경로 지정 방법을 선택합니다.

      2. 부트스트랩 서버에 대한 호스트 및 포트 번호를 입력합니다. 호스트 이름은 서브넷에서 분석할 수 없거나 SSL/TLS를 사용하는 경우에만 프라이빗 IP를 입력합니다.

        주: 프라이빗 IP를 입력하면 OCI GoldenGate가 프라이빗 IP를 ip-10-0-0-0.ociggsvc.oracle.vcn.com 형식으로 재작성합니다.

        참고: 클러스터의 모든 노드에 FQDN이 있어야 프라이빗 끝점을 통과할 수 있습니다.

      3. (선택 사항) + 부트스트랩 서버를 선택하여 다른 부트스트랩 서버를 추가합니다.

    7. 보안 프로토콜의 경우 다음 중에서 선택합니다.

      • 일반 텍스트

      • 일반 텍스트에 대한 SASL을 수행한 다음 사용자 이름 및 비밀번호를 제공합니다.

      • SASL over SSL 후 필요에 따라 사용자 이름, 암호, 보안 저장소 및 키 저장소 값을 제공합니다.

      • SSL을 사용한 다음 필요에 따라 보안 저장소 및 키 저장소 값을 제공합니다.

    8. 고급 옵션을 표시합니다를 확장합니다. 다음과 같은 옵션을 구성할 수 있습니다.

      • 보안

        • 이 접속에 비밀번호 암호를 사용하지 않으려는 저장소 암호 사용의 선택을 해제합니다. 선택되지 않은 경우:

          • 모든 암호화 키 관리를 Oracle에 그대로 두려면 Oracle 관리 암호화 키 사용을 선택합니다.

          • 고객 관리 암호화 키 사용을 선택하여 OCI 저장소에 저장된 특정 암호화 키를 선택하여 접속 인증서를 암호화합니다.

      • 네트워크 접속

        • 공유 끝점 - 지정된 배치와 끝점을 공유합니다. 배포의 수신 IP에서 연결을 허용해야 합니다.

        • 전용 엔드포인트 - VCN의 지정된 서브넷에 있는 전용 엔드포인트를 통한 네트워크 트래픽용입니다. 이 접속의 수신 IP에서 접속을 허용해야 합니다.

          참고:

          • 전용 연결이 7일 동안 할당되지 않은 상태로 유지되면 서비스가 해당 연결을 공유 연결로 변환합니다.
          • Oracle GoldenGate 연결에 대해 자세히 알아보십시오.

      • 설정: Kafka 복제에서 Snappy 압축을 사용하려면 생산자 속성을 끌어 놓거나 선택하고 압축 OCI GoldenGate(Confluent) Kafka 복제 사용에 설명된 대로 복제 설정을 변경합니다.

      • 보안 속성: Zero Trust Packet Routing(ZPR)을 사용하여 이 접속에 대한 액세스를 제어하는 보안 속성을 추가합니다.

      • 태그: 리소스를 구성하기 위한 태그를 추가합니다.

  4. 생성을 선택합니다.

접속이 접속 목록에 나타납니다. 여기서 접속을 선택하여 세부정보를 볼 수 있습니다. 또한 Confluent Schema Registry에 대한 접속을 생성한 다음 Big Data 배치에 두 접속을 모두 지정하십시오.

프라이빗 링크로 Confluent Cloud에 대한 접속 생성

프라이빗 링크를 사용하면 가상 네트워크에 있는 프라이빗 끝점을 통해 타사 클라우드에서 실행 중인 Confluent Cloud 클러스터에 액세스할 수 있습니다.

연결을 생성하기 전에 다음이 있는지 확인합니다.

위의 지침을 사용하여 연결을 만들 수 있지만 5단계와 6단계 대신 다음을 수행합니다.

다음 단계

Kafka 연결 오류 문제 해결

대부분의 연결 문제로 인해 TimeoutException 오류가 발생합니다. 예:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Replicat 보고서 파일에 이 메시지가 표시되는 경우 다음을 수행할 수 있습니다.