Criando um Conector

Crie um conector no Connector Hub.

Observação

Para evitar a desativação automática pelo Oracle Cloud Infrastructure, valide se o conector move dados com sucesso, verificando os resultados esperados no serviço de destino e, opcionalmente, ativando logs.

Esta página mostra instruções gerais para criar um conector.

As páginas a seguir fornecem instruções específicas da origem:

Para revisar consultas suportadas para filtrar logs de origem, consulte Referência de Consulta de Log para o Connector Hub.

1. Na página da lista Conectores, selecione Criar conector. Se precisar de ajuda para localizar a página da lista, consulte Listando Conectores.
2. Na página Criar conector, digite um nome amigável para o novo conector e uma descrição opcional. Evite digitar informações confidenciais.
3. Selecione o compartimento no qual você deseja armazenar o novo conector.
4. Selecione o serviço de Origem que contém os dados a serem transferidos:
  
  Logging: Transferir dados de log do serviço Logging. Consulte Registro em Log.
  
  Monitoring: Transfera pontos de dados de métrica do serviço Monitoring. Consulte Monitoramento.
  
  Fila: Transfere mensagens de uma fila no serviço. Consulte Queue.
  
  Streaming: Transferir dados de stream do serviço Streaming. Consulte o serviço Streaming.
5. Para Destino, selecione o serviço para o qual você deseja transferir os dados:
  
  Functions: Envie dados para uma função.
  
  Logging Analytics: Envie dados para um grupo de logs.
  
  Monitoring: Envie pontos de dados de métrica para o serviço Monitoring.
  
  Notifications: Envie dados para um tópico.
  
  Object Storage: Envie dados para um bucket.
  
  Streaming: Envie dados para um stream.
6. (Opcional) Para ativar logs de serviço para o novo conector, selecione a chave Logs e forneça os seguintes valores:
  
  Categoria de log: O valor Rastreamento de Conector é selecionado automaticamente.
  
  Compartimento: Selecione o compartimento que você deseja armazenar os logs de serviço do conector.
  
  Grupo de logs: Selecione o grupo de logs que você deseja armazenar os logs de serviço. Para criar um novo grupo de logs, selecione Criar novo grupo e informe um nome.
  
  Nome do log: Opcionalmente, digite um nome para o log.
  
  Mostrar opções avançadas:
  
  Retenção de log: Como opção, especifique por quanto tempo manter os logs de serviço (padrão: 30 dias).
7. Em Configurar conexão de origem, informe valores para a origem selecionada.
  
  Log
  
  Nome do compartimento: o compartimento que contém o log desejado.
  
  Grupo de logs: O grupo de logs que contém o log desejado.
  Para o esquema de entrada de log, consulte LogEntry.
  
  Logs: O log desejado. Para filtrar os logs que aparecem nesse campo, consulte a próxima etapa.
  
  Monitoramento
  
  Compartimento de métricas: Selecione o compartimento que contém as métricas desejadas.
  
  Namespaces: Selecione um ou mais namespaces de métricas que incluam as métricas desejadas. Todas as métricas nos namespaces selecionados são recuperadas.
  Os namespaces devem começar com "oci_". Exemplo: oci_computeagent.
  
  Para adicionar namespaces de métricas de outro compartimento, selecione + Outro compartimento.
  
  O número máximo de compartimentos de métrica por origem de Monitoramento é 5. O número máximo de namespaces por origem do serviço Monitoring (em todos os compartimentos de métricas) é 50. Veja a seguir exemplos de conjuntos de compartimentos em uma única origem que permanecem dentro desse máximo:
  
  5 compartimentos de métrica com 10 namespaces cada
  
  3 compartimentos de métrica com números variados de namespaces (20, 20, 10)
  
  1 compartimento de métrica com 50 namespaces
  
  Fila
  
  Compartimento: Selecione o compartimento que contém a fila desejada.
  
  Fila: Selecione a fila que contém as mensagens que você deseja.
  Observação
  
  Para selecionar uma fila para um conector, você deve ter autorização para ler a fila. Consulte Políticas do Serviço IAM (Protegendo o Connector Hub).
  
  Filtro de Canal (em Filtragem de mensagens) (opcional): Para filtrar mensagens de canais na fila, informe um valor.
  
  Por exemplo, para filtrar mensagens por ID do canal, informe o ID do canal.
  
  Para obter os valores suportados, consulte channelFilter em GetMessages (API do serviço Queue).
  
  Observação
  
  Uma mensagem que foi transferida para o destino do conector é considerada "consumida". Para atender aos requisitos do serviço Queue, o conector exclui mensagens transferidas da fila de origem. Para obter mais informações, consulte Como Consumir Mensagens.
  
  Streaming
  
  Observação
  
  A configuração de ponto final privado é suportada. Para usar um ponto final privado, consulte Pré-requisitos de Ponto Final Privado para Streams.
  
  Compartimento: Selecione o compartimento que contém o fluxo desejado.
  
  Pool de fluxos: Selecione o pool de fluxos que contém o fluxo desejado.
  Observação
  
  Para selecionar um pool de streams e um stream para um conector, você deve ter autorização para ler o pool de streams e o stream. Consulte Políticas do Serviço IAM (Protegendo o Connector Hub).
  
  Stream: Selecione o nome do stream do qual você deseja receber dados.
  
  Posição de leitura: Especifique a posição do cursor da qual o stream será lido.
  
  Latest: Inicia a leitura de mensagens publicadas após a criação do conector.
  
  Se a primeira execução de um novo conector com essa configuração for bem-sucedida, ele moverá os dados do horário de criação do conector. Se a primeira execução falhar (como com políticas ausentes), depois da resolução, o conector moverá os dados do tempo de criação do conector ou, se o tempo de criação estiver fora do período de retenção, os dados mais antigos disponíveis no fluxo. Por exemplo, considere um conector criado às 10 da manhã para um fluxo com um período de retenção de duas horas. Se as execuções com falha forem resolvidas às 11h, o conector moverá os dados das 10h. Se as execuções com falha forem resolvidas às 1h, o conector moverá os dados mais antigos disponíveis no fluxo.
  
  Posteriormente, é executada a movimentação de dados da próxima posição no fluxo. Se uma execução posterior falhar, depois da resolução, o conector moverá os dados da próxima posição no fluxo ou dos dados mais antigos disponíveis no fluxo, dependendo do período de retenção do fluxo.
  
  Reduzir Horizonte: Inicia a leitura da mensagem disponível mais antiga do stream.
  
  Se a primeira execução de um novo conector com essa configuração for bem-sucedida, ele moverá os dados dos dados mais antigos disponíveis no fluxo. Se a primeira execução falhar (como com políticas ausentes), depois da resolução, o conector moverá os dados mais antigos disponíveis no fluxo, independentemente do período de retenção do fluxo.
  
  Posteriormente, é executada a movimentação de dados da próxima posição no fluxo. Se uma execução posterior falhar, depois da resolução, o conector moverá os dados da próxima posição no fluxo ou dos dados mais antigos disponíveis no fluxo, dependendo do período de retenção do fluxo.
8. (Opcional) Em Tarefa de filtro de log (disponível para origem de Log), digite valores para filtrar os logs.
  
  Para especificar valores de atributo para logs de auditoria (_Audit):
  
  Tipo de filtro: Selecione Atributo.
  
  Nome do atributo: Selecione o atributo de log de auditoria desejado.
  
  Valores do atributo: Especifique valores para o atributo de log de auditoria selecionado.
  
  Para especificar eventos para logs de auditoria (_Audit):
  
  Tipo de filtro: Selecione Tipo de evento.
  
  Nome do serviço: Selecione o serviço que contém o evento desejado.
  
  Tipo de evento: Selecione o evento desejado.
  
  Para especificar valores de propriedade para logs de serviço ou logs personalizados (não _Audit):
  
  Propriedade: Selecione a propriedade que você deseja.
  
  Operador: Selecione o operador a ser usado para filtrar valores de propriedade.
  
  Valor: Especifique o valor da propriedade que você deseja.
  
  Para revisar as consultas suportadas para filtrar logs de origem, consulte Referência de Consulta de Log para o Connector Hub.
9. (Opcional) Em Configurar tarefa de função, configure uma tarefa de função para processar dados da origem usando o Serviço Functions:
  
  Selecionar tarefa: Selecione Função.
  
  Compartimento: Selecione o compartimento que contém a função desejada.
  
  Aplicativo de função: Selecione o nome do aplicativo de função que inclui a função desejada.
  
  Função: Selecione o nome da função que você deseja usar para processar os dados recebidos da origem.
  Para uso pelo conector como uma tarefa, a função deve ser configurada para retornar uma das seguintes respostas:
  
  Lista de entradas JSON (deve definir o cabeçalho de resposta Content-Type=application/json)
  
  Entrada JSON única (deve definir o cabeçalho de resposta Content-Type=application/json)
  
  Objeto binário único (deve definir o cabeçalho de resposta Content-Type=application/octet-stream)
  
  Mostrar opções adicionais: Selecione este link e especifique limites para cada batch de dados enviado à função. Para usar configurações manuais, forneça valores para limite de tamanho do lote (KBs) e limite de tempo do lote (segundos).
  
  Considerações para tarefas de função:
  
  O Connector Hub não faz parsing da saída da tarefa de função. A saída da tarefa de função é gravada como está no destino. Por exemplo, ao usar um destino do serviço Notifications com uma tarefa de função, todas as mensagens são enviadas como blobs de JSON brutos.
  
  As funções são chamadas de forma síncrona com 6 MB de dados por chamada. Se os dados excederem 6 MB, o conector chamará a função novamente para mover os dados que estão acima do limite. Essas chamadas são tratadas sequencialmente.
  
  As funções podem ser executadas por até cinco minutos. Consulte Detalhes da Entrega.
  
  As tarefas de função são limitadas a funções escalares.
10. Se você tiver selecionado Funções como destino, em Configurar destino, configure a função para a qual enviar os dados de log. Em seguida, vá para a etapa 17.
  
  Compartimento: Selecione o compartimento que contém a função desejada.
  
  Aplicativo de função: Selecione o nome do aplicativo de função que contém a função desejada.
  
  Função: Selecione o nome da função para a qual você deseja enviar os dados.
  
  Mostrar opções adicionais: Selecione este link e especifique limites para cada batch de dados enviado à função. Para usar definições manuais, forneça valores para limite de tamanho do lote (KBs ou número de mensagens) e limite de tempo do lote (segundos).
  Por exemplo, limite o tamanho do lote selecionando 5.000 kilobytes ou 10 mensagens. Um exemplo de limite de tempo do batch é de 5 segundos.
  
  Considerações para destinos de Funções:
  
  O conector descarrega dados de origem como uma lista JSON em lotes. Lote máximo, ou carga útil, o tamanho é de 6 MB.
  
  As funções são chamadas de forma síncrona com 6 MB de dados por chamada. Se os dados excederem 6 MB, o conector chamará a função novamente para mover os dados que estão acima do limite. Essas chamadas são tratadas sequencialmente.
  
  As funções podem ser executadas por até cinco minutos. Consulte Detalhes da Entrega.
  
  Não retorne dados dos destinos do serviço Functions para conectores. O Connector Hub não lê os dados retornados dos destinos do serviço Functions.
11. Se você tiver selecionado o serviço Logging Analytics como destino, em Configurar destino, configure o grupo de logs para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
  
  Compartimento: Selecione o compartimento que contém o grupo de logs desejado.
  
  Grupo de logs: Selecione o grupo de logs desejado.
  
  Identificador da origem do log (somente para origem do Streaming): Selecione a origem do log.
12. Se você tiver selecionado Monitoramento como destino, em Configurar destino, configure a métrica para enviar os dados de log. Em seguida, vá para a etapa 17.
  
  Compartimento: Selecione o compartimento que contém a métrica desejada.
  
  pace de métricas: Selecione os namespaces de métricas que incluem a métrica desejada. Você pode selecionar um namespace existente ou informar um novo namespace.
  Ao digitar um novo namespace, pressione Enter para enviá-lo.
  Para um novo namespace de métrica, não use o prefixo oci_ reservado. As métricas não são ingeridas quando prefixos reservados são usados. Consulte Publicando Métricas Personalizadas e Referência de PostMetricData (API).
  
  Métrica: Selecione o nome da métrica para a qual você deseja enviar os dados. Você pode selecionar uma métrica existente ou informar uma nova métrica.
  Ao digitar um novo nome de métrica, pressione Enter para enviar.
  Para uma nova métrica, não use o prefixo oci_ reservado. As métricas não são ingeridas quando prefixos reservados são usados. Consulte Publicando Métricas Personalizadas e Referência de PostMetricData (API).
  
  Adicionar dimensões: Selecione este botão para, opcionalmente, configurar dimensões. O painel Adicionar dimensões é aberto.
  
  As seis últimas linhas de dados de log são recuperadas do log especificado em Configurar origem.
  
  Especifique um par de chaves de nome/valor para cada dimensão para a qual deseja enviar dados. O nome pode ser personalizado e o valor pode ser estático ou um caminho a ser avaliado. Use dimensões para filtrar os dados depois que os dados de log forem movidos para uma métrica. Para um exemplo de caso de uso de dimensão, consulte Cenário: Criando Dimensões para um Destino do Serviço Monitoring.
  
  Para extrair dados (valor do caminho)
  
  Em Selecionar caminho, selecione a seta para baixo do log desejado.
  
  Os caminhos são listados para o log expandido.
  
  Marque a caixa de seleção do caminho desejado.
  
  A imagem a seguir mostra um exemplo de um caminho selecionado (bucketName) e um caminho não selecionado (eTag):
  
  Em Editar caminho, os campos Nome da dimensão e Valor são preenchidos automaticamente com base no caminho selecionado.
  
  Se nenhum dado de log estiver disponível, você poderá informar manualmente um valor de caminho com um nome de dimensão personalizado em Editar caminho. O caminho deve começar com logContent, usando a notação de ponto (.) ou índice ([]). Ponto e índice são os únicos selecionadores JMESPath suportados. Por exemplo:
  
  logContent.data (notação de ponto)
  
  logContent.data[0].content (notação de índice)
  
  Para obter mais informações sobre notação de caminho válida, consulte JmesPathDimensionValue.
  
  Se preferir, edite o nome da dimensão.
  
  Para marcar dados (valor estático)
  
  Em Valores estáticos, selecione + Outro valor estático e informe um nome e um valor de dimensão. Por exemplo, informe traffic e customer.
  
  Observação
  
  Para novas métricas (personalizadas), o namespace de métricas e a métrica especificados são criados na primeira vez que o conector move dados da origem para o serviço Monitoring. Para verificar a existência de dados movidos, consulte a nova métrica usando a Console, a CLI ou a API. Consulte Criando uma Consulta para uma Métrica Personalizada.
  
  O que está incluído na métrica
  
  Além de qualquer par de chaves de nome/valor da dimensão que você especificar em Configurar dimensões, as seguintes dimensões serão incluídas na métrica:
  
  connectorId: O OCID do conector ao qual as métricas se aplicam.
  
  connectorName: O nome do conector ao qual as métricas se aplicam.
  
  connectorSourceType: O serviço de origem ao qual as métricas se aplicam.
  
  O timestamp de cada ponto de dados de métrica é o timestamp da mensagem de log correspondente.
13. Se você tiver selecionado Notificações como destino, em Configurar destino, configure o tópico para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
  
  Compartimento: Selecione o compartimento que contém o tópico desejado.
  
  Tópico: Selecione o nome do tópico para o qual deseja enviar os dados.
  
  Formato de mensagem: Selecione a opção que deseja:
  Observação
  
  As opções de Formato de mensagem estão disponíveis apenas para conectores com origem no serviço Logging. Essas opções não estão disponíveis para conectores com tarefas de função. Quando as opções de Formato de mensagem não estão disponíveis, as mensagens são enviadas como blobs JSON brutos.
  
  Enviar mensagens formatadas: Layout simplificado e amigável.
  Para exibir protocolos de inscrição e tipos de mensagem suportados para mensagens formatadas, consulte Formatação Amigável.
  
  Enviar mensagens brutas: blob de JSON bruto.
  
  Considerações para destinos de Notificações:
  
  O tamanho máximo da mensagem para o destino Notificações é 128 KB. Qualquer mensagem que exceda o tamanho máximo será eliminada.
  
  As mensagens SMS exibem resultados inesperados para determinadas configurações do conector. Esse problema se limita a tópicos que contêm assinaturas SMS para as configurações de conector indicadas. Para obter mais informações, consulte Várias mensagens SMS para uma única notificação.
14. Se você tiver selecionado o serviço Object Storage como destino, em Configurar destino, configure o bucket para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
  
  Compartimento: Selecione o compartimento que contém o bucket desejado.
  
  Bucket: Selecione o nome do bucket para o qual você deseja enviar os dados.
  
  Prefixo do Nome do Objeto: Opcionalmente, informe um valor de prefixo.
  
  Mostrar opções adicionais: Selecione este link e, opcionalmente, informe valores para o tamanho do batch (em MBs) e o tempo do batch (em milissegundos).
  
  Considerações para destinos de Armazenamento de Objetos:
  
  Detalhes da substituição do batch:
  
  Tamanho da substituição do batch: 100 MB
  
  Tempo de substituição do batch: 7 minutos
  
  Os arquivos salvos no serviço Object Storage são compactados usando gzip.
  
  Formato de dados movidos de uma origem de Monitoramento: Objetos. O conector particiona dados de origem do Monitoring por namespace de métricas e grava os dados de cada grupo (namespace) em um objeto. Cada nome de objeto inclui os elementos a seguir.
  
  <object_name_prefix>/<service_connector_ocid>/<metric_compartment_ocid>/<metric_namespace>/<data_start_timestamp>_<data_end_timestamp>.<sequence_number>.<file_type>.gz
  
  Em um objeto, cada conjunto de pontos de dados é anexado a uma nova linha.
15. Se você selecionou Streaming como destino, em Configurar destino, configure o fluxo para o qual enviar os dados de log.
  
  Observação
  
  Para selecionar um pool de streams e um stream para um conector, você deve ter autorização para ler o pool de streams e o stream. Consulte Políticas do IAM (Protegendo o Connector Hub). Configuração de ponto final privado é suportada. Para usar um ponto final privado, consulte Pré-requisitos de Ponto Final Privado para Streams.
  
  Compartimento: Selecione o compartimento que contém o fluxo desejado.
  
  Stream: Selecione o nome do stream para o qual você deseja enviar os dados.
  
  Considerações para destinos de Streaming:
  
  Formato dos dados movidos de uma origem de Monitoramento: Cada objeto é gravado como uma mensagem separada.
16. Para aceitar políticas padrão, selecione o link Criar fornecido para cada política padrão.
  
  As políticas padrão são oferecidas para qualquer autorização necessária para que este conector acesse os serviços de origem, tarefa e destino.
  
  Você pode obter essa autorização por meio dessas políticas padrão ou de políticas baseadas em grupo. As políticas padrão são oferecidas sempre que você usa a Console para criar ou editar um conector. A única exceção é quando a política exata já existe no serviço IAM; nesse caso, a política padrão não é oferecida. Para obter mais informações sobre esse requisito de autorização, consulte Autenticação e Autorização.
  
  Se você não tiver permissões para aceitar políticas padrão, entre em contato com o administrador.
  
  As políticas criadas automaticamente permanecem quando os conectores são excluídos. Como prática recomendada, exclua as políticas associadas ao excluir o conector.
  
  Para revisar uma política recém-criada, selecione o link de exibição associado.
17. (Opcional) Adicione uma ou mais tags ao conector: Selecione Mostrar Opções Avançadas para mostrar a seção Adicionar Tags.
  Se você tiver permissões para criar um recurso, também terá permissões para aplicar tags de formato livre a esse recurso. Para aplicar uma tag definida, você deverá ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recurso. Se você não tiver certeza se deseja aplicar tags, ignore esta opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
18. Selecione Criar.
O processo de criação é iniciado e seu progresso é exibido. Na conclusão, a página de detalhes do conector é aberta.
Use o comando oci sch service-connector create e os parâmetros necessários para criar um conector:
oci sch service-connector create --display-name "<display_name>" --compartment-id <compartment_OCID> --source [<source_in_JSON>] --target [<target_in_JSON>]
Para obter uma lista completa dos parâmetros e valores dos comandos da CLI, consulte a Referência de Comandos da CLI.
Execute a operação CreateServiceConnector para criar um conector.

Confirmar se o Novo Conector Move Dados

Depois de criar o conector, confirme se ele está movendo dados.

Ative logs para que o conector obtenha detalhes sobre o fluxo de dados.
Verifique os resultados esperados no serviço de destino.

A confirmação de que os dados são movidos ajuda a evitar a desativação automática, que acontece quando um conector falha por um longo tempo.

Streams privados: Não é possível reformular um conector existente para usar um stream com um ponto final privado. Se o pool de streams selecionado para a origem ou o destino do stream for público, ele não poderá ser alterado para privado e o conector não poderá ser atualizado para fazer referência a um stream privado. Para alterar a origem ou o destino para usar outro stream privado ou para usar uma origem ou um destino diferente do Streaming, recrie o conector com a origem e o destino desejados. Um exemplo da necessidade de outro stream privado é um stream que foi movido para outro pool de streams. Nesse caso, recrie o conector usando o fluxo movido. Certifique-se de desativar ou excluir o conector antigo com a origem ou o destino do stream que você não deseja mais.

Documentação do Oracle Cloud Infrastructure

Criando um Conector

Confirmar se o Novo Conector Move Dados