Documentação do Oracle Cloud Infrastructure

Usando o Kafka Connect

Use o Kafka Connect com o Oracle Cloud Infrastructure Streaming.

O Gerenciamento de Configurações do Kafka Connect fornece etapas para usar a Console, a CLI e a API.

Para usar seus conectores Kafka com o Oracle Cloud Infrastructure Streaming, crie uma configuração do Kafka Connect. A API do Streaming chama essas configurações de ambientes.

Observação

As configurações do Kafka Connect só funcionam para streams no mesmo compartimento.

Você pode usar vários conectores Kafka com a mesma configuração do Kafka Connect. Nos casos que exigem a produção ou o consumo de streams em compartimentos separados, ou nos quais é necessário ter mais capacidade para evitar atingir os limites de regulagem na configuração do Kafka Connect (por exemplo: muitos conectores ou conectores com muitos workers), você pode criar mais configurações do Kafka Connect.

Para obter mais informações sobre como gerenciar configurações do Kafka Connect, consulte Gerenciando Configurações do Kafka Connect.

Conectores Kafka

A compatibilidade com o Kafka Connect no Streaming significa que você pode aproveitar os muitos conectores primários e de terceiros existentes para mover dados de suas origens para seus destinos.

Conectores Kafka para produtos Oracle:

Para obter uma lista completa de conectores de origem e sink connectors do Kafka de terceiros, consulte o hub oficial do Confluent Kafka.

Tópicos do Kafka Connect

O serviço Streaming cria automaticamente os três tópicos (config, referência e status) necessários para usar o Kafka Connect ao criar a configuração do Kafka Connect. Estes tópicos contêm o OCID da configuração do Kafka Connect em seus nomes.

Coloque esses nomes de tópico no arquivo connect-distributed.properties do conector Kafka que você deseja usar com o serviço Streaming.

Por exemplo: 

# Relevant Kafka Connect setting
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status
Observação

Esses três tópicos compactados devem ser usados pelo Kafka Connect e pelo Streaming para armazenar dados de configuração e gerenciamento de estado. Não os use para armazenar seus dados. Para garantir que os tópicos de configuração do Kafka Connect estejam sendo usados com sua finalidade pretendida pelos conectores, há limites rígidos de regulagem de 50 kb/s e 50 rps estabelecidos para esses tópicos.

Servidor de Bootstrap

Defina o servidor de bootstrap no arquivo de propriedades do conector Kafka para o ponto final do serviço Streaming na porta 9092. Por exemplo: 

streaming.us-phoenix-1.oci.oraclecloud.com:9092
Observação

Para obter uma lista de pontos finais para o serviço Streaming, consulte a seção Streaming em Referência e Pontos Finais de API.

Autenticação

A autenticação com o protocolo Kafka usa tokens de autenticação e o mecanismo SASL/PLAIN. Você pode gerar tokens na página de detalhes do usuário da Console. Consulte Como Trabalhar com Tokens de Autenticação para obter mais informações.

Dica

Crie um grupo dedicado e conceda a esse grupo a permissão para gerenciar streams no compartimento ou tenancy apropriado(a). Você então poderá gerar um token de autenticação para o usuário criado e usá-lo na configuração do cliente Kafka.

Exemplo de Arquivo de Propriedades do Conector Kafka

Veja a seguir um exemplo de arquivo connect-distributed.properties do conector Kafka:

bootstrap.servers=<streaming_endpoint>:9092
sasl.mechanism=PLAIN
security.protocol=SASL_PLAINTEXT
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
producer.sasl.mechanism=PLAIN
producer.security.protocol=SASL_PLAINTEXT
producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
consumer.sasl.mechanism=PLAIN
consumer.security.protocol=SASL_PLAINTEXT
consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status

Política do Serviço IAM Obrigatória

Para usar o Oracle Cloud Infrastructure, um administrador deve ser membro de um grupo com acesso de segurança concedido em uma política por um administrador da tenancy. Esse acesso será necessário se você estiver usando a Console ou a API REST com um SDK, uma CLI ou outra ferramenta. Se você receber uma mensagem de que não tem permissão ou que não está autorizado, verifique com o administrador da tenancy qual tipo de acesso você tem e em qual compartimento seu acesso funciona.

Para permitir que um grupo gerencie as configurações do Kafka Connect, você precisa criar a política correta em sua tenancy. Por exemplo: 

allow group <identity_domain_name>/<group_name> KafkaAdmins to manage connect-harnesses in tenancy

Para administradores: A política em Permitir que administradores do streaming gerenciem recursos do streaming permite que o grupo especificado faça tudo com o streaming e os recursos relacionados ao serviço Streaming.

Se você for iniciante em políticas, consulte Visão Geral de Políticas do Serviço IAM. Para obter mais informações, consulte: