Connessione a Confluent Kafka

Imparare a creare una connessione a Confluent Kafka, che si utilizza con la connessione Confluent Schema Registry, per fungere da origine o destinazione in una distribuzione Big Data OCI GoldenGate.

Prima di iniziare

Assicurarsi di effettuare quanto riportato di seguito.

Rivedere il modo in cui OCI GoldenGate si connette all'origine e alle destinazioni.
Configurare i criteri necessari per abilitare l'accesso sicuro a vault e segreti, ad esempio l'uso di segreti, i vault e la lettura di bundle di segreti. Per ulteriori informazioni, vedere Criteri consigliati minimi.
Se si utilizza TLS/mTLS, convertire il truststore o il truststore e il keystore JKS in formato PKCS12 da utilizzare nella connessione.
1. Utilizzare la utility keytool in JDK per eseguire la conversione nel formato PKCS12.
  
  Per il keystore, la utility Keytool richiede una password, come mostrato nell'esempio riportato di seguito.
```
keytool -importkeystore -srckeystore [MY_KEYSTORE.jks] -destkeystore [MY_KEYSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
```
  Per il truststore, la utility keytool richiede una password, come mostrato nell'esempio riportato di seguito.
```
keytool -importkeystore -srckeystore [MY_TRUSTSTORE.jks] -destkeystore [MY_TRUSTSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
```
2. Dopo aver convertito il keystore e il truststore, aggiungere le righe seguenti al file delle proprietà del producer Kafka, quindi salvare le modifiche:
```
ssl.truststore.type=PKCS12
ssl.keystore.type=PKCS12
```
3. Caricare il file nelle proprietà del producer della connessione nella sezione Impostazioni delle opzioni avanzate.
Creare una connessione a Confluent Schema Registry da utilizzare insieme a questa connessione. È quindi necessario assegnare entrambe le connessioni alla stessa distribuzione Big Data OCI GoldenGate.

Crea una connessione di origine

Per creare una connessione Confluent Kafka di origine:

Nella pagina Panoramica di OCI GoldenGate, selezionare Connessioni.

È inoltre possibile selezionare Crea connessione nella sezione Introduzione e passare al passo 3.
Nella pagina Connessioni selezionare Crea connessione.
Nella pagina Crea connessione, completare i campi come indicato di seguito.
1. In Nome, immettere un nome per la connessione.
2. (Facoltativo) In Descrizione, immettere una descrizione che consenta di distinguere questa connessione dalle altre.
3. (Solo per GoldenGate on Multicloud) Selezionare la propria sottoscrizione, quindi completare i campi riportati di seguito.
  1. Nell'elenco a discesa Compartimento selezionare il compartimento in cui risiede l'ancora risorsa.
  2. Selezionare l'area partner multicloud.
  3. Seleziona la tua zona di disponibilità dei partner. Le opzioni disponibili vengono popolate in base all'area partner multicloud selezionata.
4. In Compartimento selezionare il compartimento in cui creare la connessione.
5. Nell'elenco a discesa Tipo selezionare Confluent Kafka.
6. Nei server Bootstrap:
  1. Immettere il numero di host e porta per il server Bootstrap. Immettere l'IP privato solo se il nome host non è risolvibile dalla subnet o se utilizza SSL/TLS.
    
    Nota: se si immette un IP privato, OCI GoldenGate riscrive l'IP privato nel formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    Suggerimento: tutti i nodi del cluster devono disporre di nomi FQDN per consentire lo spostamento su endpoint privati.
  2. (Opzionale) Selezionare + server bootstrap per aggiungere un altro server bootstrap.
7. Per il protocollo di sicurezza, selezionare una delle opzioni riportate di seguito.
  - Testo non codificato
  - SASL in testo normale, quindi fornire il nome utente e la password.
  - SASL su SSL, quindi fornire i valori Nome utente, Password, Truststore e Keystore in base alle esigenze.
  - SSL, quindi fornire i valori del truststore e del keystore in base alle esigenze.
8. Espandere l'area Mostra opzioni avanzate È possibile configurare le opzioni riportate di seguito.
  - Sicurezza
    - Deselezionare Usa segreti vault per non utilizzare segreti password per questa connessione. Se l'opzione non viene selezionata:
      - Selezionare Usa chiave di cifratura gestita da Oracle per lasciare a Oracle tutta la gestione delle chiavi di cifratura.
      - Selezionare Usa chiave di cifratura gestita dal cliente per selezionare una chiave di cifratura specifica memorizzata nel vault OCI per cifrare le credenziali di connessione.
  - Connettività di rete
    - Endpoint condiviso per condividere un endpoint con la distribuzione assegnata. È necessario consentire la connettività dall'IP in entrata della distribuzione.
    - Endpoint dedicato, per il traffico di rete attraverso un endpoint dedicato nella subnet assegnata nella tua VCN. È necessario consentire la connettività dagli IP in entrata di questa connessione.
      Nota:
      
      Se un collegamento dedicato rimane non assegnato per sette giorni, il servizio lo converte in una connessione condivisa.
      
      Ulteriori informazioni sulla connettività di Oracle GoldenGate.
  - Impostazioni: per acquisire da Kafka, creare un file delle proprietà del consumer Kafka con uno dei deserializzatori o convertitori seguenti:
    - Proprietà consumer Kafka per JSON deserializer:
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
    - Proprietà consumer Kafka per il convertitore JSON:
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
    - Proprietà consumatore Kafka per convertitore Avro:
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
  - Attributi di sicurezza: aggiungere attributi di sicurezza per controllare l'accesso a questa connessione utilizzando Zero Trust Packet Routing (ZPR).
  - Tag: Aggiunge tag per organizzare le risorse.
Selezionare Crea.

La connessione viene visualizzata nell'elenco Connessioni, in cui è possibile selezionarla per visualizzarne i dettagli. Assicurarsi inoltre di creare una connessione a Confluent Schema Registry e quindi assegnare entrambe le connessioni a una distribuzione Big Data.

Crea una connessione di destinazione

Per creare una connessione Confluent Kafka di destinazione:

Nella pagina Panoramica di OCI GoldenGate, selezionare Connessioni.

È inoltre possibile selezionare Crea connessione nella sezione Introduzione e passare al passo 3.
Nella pagina Connessioni selezionare Crea connessione.
Nella pagina Crea connessione, completare i campi come indicato di seguito.
1. In Nome, immettere un nome per la connessione.
2. (Facoltativo) In Descrizione, immettere una descrizione che consenta di distinguere questa connessione dalle altre.
3. (Solo per GoldenGate on Multicloud) Selezionare la propria sottoscrizione, quindi completare i campi riportati di seguito.
  1. Nell'elenco a discesa Compartimento selezionare il compartimento in cui risiede l'ancora risorsa.
  2. Selezionare l'area partner multicloud.
  3. Seleziona la tua zona di disponibilità dei partner. Le opzioni disponibili vengono popolate in base all'area partner multicloud selezionata.
4. In Compartimento selezionare il compartimento in cui creare la connessione.
5. Nell'elenco a discesa Tipo selezionare Confluent Kafka.
6. Nei server Bootstrap:
  1. Selezionare un metodo di instradamento traffico:
  2. Immettere il numero di host e di porta per il server Bootstrap. Immettere l'IP privato solo se il nome host non è risolvibile dalla subnet o se utilizza SSL/TLS.
    
    Nota: se si immette un IP privato, OCI GoldenGate riscrive l'IP privato nel formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    Suggerimento: tutti i nodi del cluster devono disporre di nomi FQDN per consentire lo spostamento su endpoint privati.
  3. (Opzionale) Selezionare + server bootstrap per aggiungere un altro server bootstrap.
7. Per il protocollo di sicurezza, selezionare una delle opzioni riportate di seguito.
  - Testo non codificato
  - SASL in testo normale, quindi fornire il nome utente e la password.
  - SASL su SSL, quindi fornire i valori Nome utente, Password, Truststore e Keystore in base alle esigenze.
  - SSL, quindi fornire i valori del truststore e del keystore in base alle esigenze.
8. Espandere l'area Mostra opzioni avanzate È possibile configurare le opzioni riportate di seguito.
  - Sicurezza
    - Deselezionare Usa segreti vault per non utilizzare segreti password per questa connessione. Se l'opzione non viene selezionata:
      - Selezionare Usa chiave di cifratura gestita da Oracle per lasciare a Oracle tutta la gestione delle chiavi di cifratura.
      - Selezionare Usa chiave di cifratura gestita dal cliente per selezionare una chiave di cifratura specifica memorizzata nel vault OCI per cifrare le credenziali di connessione.
  - Connettività di rete
    - Endpoint condiviso per condividere un endpoint con la distribuzione assegnata. È necessario consentire la connettività dall'IP in entrata della distribuzione.
    - Endpoint dedicato, per il traffico di rete attraverso un endpoint dedicato nella subnet assegnata nella tua VCN. È necessario consentire la connettività dagli IP in entrata di questa connessione.
      Nota:
      
      Se un collegamento dedicato rimane non assegnato per sette giorni, il servizio lo converte in una connessione condivisa.
      
      Ulteriori informazioni sulla connettività di Oracle GoldenGate.
  - Impostazioni: per utilizzare la compressione Snappy nella replica Kafka, trascinare o selezionare Proprietà del producer e modificare le impostazioni di replica come descritto in Utilizzo della replica Kafka Compression OCI GoldenGate (Confluent).
  - Attributi di sicurezza: aggiungere attributi di sicurezza per controllare l'accesso a questa connessione utilizzando Zero Trust Packet Routing (ZPR).
  - Tag: Aggiunge tag per organizzare le risorse.
Selezionare Crea.

Creare una connessione a Confluent Cloud con collegamenti privati

Private Link consente di accedere al cluster Confluent Cloud in esecuzione su un cloud di terze parti tramite un endpoint privato esistente nella rete virtuale.

Prima di creare la connessione, assicurarsi di disporre dei seguenti elementi:

Crea la connettività di rete privata tra Oracle Cloud Infrastructure (OCI) e il cloud di terze parti di destinazione.
Durante l'aggiunta della configurazione di rete per il collegamento privato in Confluent Cloud, assicurarsi di selezionare Risoluzione DNS privata.
Configura le zone DNS e imposta i record DNS nel cloud di terze parti in cui hai configurato Confluent Cloud e in OCI. In OCI, puoi creare zone all'interno delle viste private della VCN. All'interno delle zone è possibile aggiungere i record DNS necessari.

È possibile utilizzare le istruzioni sopra riportate per creare la connessione, ma al posto dei passi 5 e 6, effettuare le operazioni riportate di seguito.

Per il passo 3e:
- Fornire i dettagli relativi all'host e alla porta dei server Bootstrap.
- È possibile aggiungere più server Bootstrap.
Per 3f:
- Per il protocollo Security, selezionare SASL over Plaintext.
- Inserire nome utente e password.

Passi successivi

Risolvere gli errori di connessione Kafka

La maggior parte dei problemi di connessione causa errori di timeoutException. Ad esempio:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Se incontri questo messaggio nel tuo file di report Replicat, puoi:

Assicurarsi che l'argomento di destinazione sia presente o verificare che la creazione automatica dell'argomento sia abilitata nelle impostazioni Kafka di destinazione.
Assicurarsi che non vi siano regole firewall che bloccano il traffico.
Se si esegue Kafka su OCI con un endpoint privato, assicurarsi di utilizzare il nome FQDN interno come server di bootstrap in server.properties e nella connessione Kafka.
Se ti stai connettendo a un cloud confluente con endpoint privati:
- Assicurarsi che le zone DNS e i record DNS siano configurati correttamente sia in OCI che nel cloud di terze parti di destinazione.
- Assicurarsi che la connessione di rete tra OCI e il cloud di destinazione funzioni correttamente.
- Test che consente di connettersi al cloud confluente di destinazione con OpenSSL (openssl s_client -connect <bootstrap>) da una VM OCI in esecuzione nella stessa subnet connessa al cloud di terze parti.
- Prova a pubblicare o utilizzare i messaggi di un client Kafka in esecuzione su OCI all'interno della stessa subnet connessa al cloud di terze parti. In caso di errore, controllare le impostazioni di rete sia in OCI che nel cloud di terze parti.