Criando um Conector com uma Origem de Log

Crie um conector no Connector Hub para transferir dados de log do serviço Logging para um serviço de destino.

Para obter mais informações sobre o serviço Logging, consulte Logging.

Um conector definido com uma origem de Log e uma tarefa opcional suporta todos os destinos. Para obter um exemplo do workflow do Connector Hub, consulte Visão Geral do Connector Hub. Para obter um exemplo de conector que usa o serviço Logging como origem, com uma tarefa do serviço Functions, consulte Cenário: Enviando Dados de Log para um Autonomous Database.

Período de Retenção: Origem do Registro em Log

O período de retenção da origem de Log no Connector Hub é de 24 horas. Para obter mais informações sobre entrega, consulte Detalhes da Entrega.

Se a primeira execução de um novo conector for bem-sucedida, ele moverá os dados de log do tempo de criação do conector. Se a primeira execução falhar (como com políticas ausentes), após a resolução, o conector moverá os dados de log do horário de criação do conector ou 24 horas antes do horário atual, o que ocorrer depois.

Cada execução posterior move os próximos dados de log. Se uma execução posterior falhar e a resolução ocorrer dentro do período de retenção de 24 horas, o conector moverá os próximos dados de log. Se uma execução posterior falhar e a resolução ocorrer fora do período de retenção de 24 horas, o conector moverá os dados de log mais recentes e todos os dados gerados entre a execução com falha e esses dados de log mais recentes não serão entregues.

    1. Na página da lista Conectores, selecione Criar conector. Se precisar de ajuda para localizar a página da lista, consulte Listando Conectores.
    2. Na página Criar conector, digite um nome amigável para o novo conector e uma descrição opcional. Evite digitar informações confidenciais.
    3. Selecione o compartimento no qual você deseja armazenar o novo conector.
    4. Em Configurar conector, para Origem, selecione Log.
    5. Para Destino, selecione o serviço para o qual você deseja transferir os dados de log:
      • Functions: Envie dados de log para uma função.
      • Logging Analytics: Envie dados de log para um grupo de logs.
      • Monitoring: Envie dados de log para pontos de dados de métrica para o serviço Monitoring.
      • Notifications: Envie dados de log para um tópico.
      • Object Storage: Envie dados de log para um bucket.
      • Streaming: Envie dados de log para um stream.
    6. (Opcional) Para ativar logs de serviço para o novo conector, selecione a chave Logs e forneça os seguintes valores:
      • Categoria de log: O valor Rastreamento de Conector é selecionado automaticamente.
      • Compartimento: Selecione o compartimento que você deseja armazenar os logs de serviço do conector.
      • Grupo de logs: Selecione o grupo de logs que você deseja armazenar os logs de serviço. Para criar um novo grupo de logs, selecione Criar novo grupo e informe um nome.
      • Nome do log: Opcionalmente, digite um nome para o log.
      • Mostrar opções avançadas:
        • Retenção de log: Como opção, especifique por quanto tempo manter os logs de serviço (padrão: 30 dias).
    7. Em Configurar conexão de origem, selecione o log de origem:
      • Nome do compartimento: o compartimento que contém o log desejado.
      • Grupo de logs: O grupo de logs que contém o log desejado.

        Para o esquema de entrada de log, consulte LogEntry.

      • Logs: O log desejado. Para filtrar os logs que aparecem nesse campo, consulte a próxima etapa.
    8. (Opcional) Em Tarefa do filtro de log, digite valores para filtrar o grupo de logs e o log selecionados.

      Para especificar valores de atributo para logs de auditoria (_Audit):

      • Tipo de filtro: Selecione Atributo.
      • Nome do atributo: Selecione o atributo de log de auditoria desejado.
      • Valores do atributo: Especifique valores para o atributo de log de auditoria selecionado.

      Para especificar eventos para logs de auditoria (_Audit):

      • Tipo de filtro: Selecione Tipo de evento.
      • Nome do serviço: Selecione o serviço que contém o evento desejado.
      • Tipo de evento: Selecione o evento desejado.

      Para especificar valores de propriedade para logs de serviço ou logs personalizados (não _Audit):

      • Propriedade: Selecione a propriedade que você deseja.
      • Operador: Selecione o operador a ser usado para filtrar valores de propriedade.
      • Valor: Especifique o valor da propriedade que você deseja.

      Para revisar as consultas suportadas para filtrar logs de origem, consulte Referência de Consulta de Log para o Connector Hub.

    9. (Opcional) Em Configurar tarefa de função, configure uma tarefa de função para processar dados da origem usando o Serviço Functions:
      • Selecionar tarefa: Selecione Função.
      • Compartimento: Selecione o compartimento que contém a função desejada.
      • Aplicativo de função: Selecione o nome do aplicativo de função que inclui a função desejada.
      • Função: Selecione o nome da função que você deseja usar para processar os dados recebidos da origem.

        Para uso pelo conector como uma tarefa, a função deve ser configurada para retornar uma das seguintes respostas:

        • Lista de entradas JSON (deve definir o cabeçalho de resposta Content-Type=application/json)
        • Entrada JSON única (deve definir o cabeçalho de resposta Content-Type=application/json)
        • Objeto binário único (deve definir o cabeçalho de resposta Content-Type=application/octet-stream)
      • Mostrar opções adicionais: Selecione este link e especifique limites para cada batch de dados enviado à função. Para usar configurações manuais, forneça valores para limite de tamanho do lote (KBs) e limite de tempo do lote (segundos).

      Considerações para tarefas de função:

      • O Connector Hub não faz parsing da saída da tarefa de função. A saída da tarefa de função é gravada como está no destino. Por exemplo, ao usar um destino do serviço Notifications com uma tarefa de função, todas as mensagens são enviadas como blobs de JSON brutos.
      • As funções são chamadas de forma síncrona com 6 MB de dados por chamada. Se os dados excederem 6 MB, o conector chamará a função novamente para mover os dados que estão acima do limite. Essas chamadas são tratadas sequencialmente.
      • As funções podem ser executadas por até cinco minutos. Consulte Detalhes da Entrega.
      • As tarefas de função são limitadas a funções escalares.
    10. Se você tiver selecionado Funções como destino, em Configurar destino, configure a função para a qual enviar os dados de log. Em seguida, vá para a etapa 17.
      • Compartimento: Selecione o compartimento que contém a função desejada.
      • Aplicativo de função: Selecione o nome do aplicativo de função que contém a função desejada.
      • Função: Selecione o nome da função para a qual você deseja enviar os dados.
      • Mostrar opções adicionais: Selecione este link e especifique limites para cada lote de dados enviado à função. Para usar definições manuais, forneça valores para limite de tamanho do lote (KBs ou número de mensagens) e limite de tempo do lote (segundos).

        Por exemplo, limite o tamanho do lote selecionando 5.000 kilobytes ou 10 mensagens. Um exemplo de limite de tempo do batch é de 5 segundos.

      Considerações para destinos de Funções:

      • O conector descarrega dados de origem como uma lista JSON em lotes. Lote máximo, ou carga útil, o tamanho é de 6 MB.
      • As funções são chamadas de forma síncrona com 6 MB de dados por chamada. Se os dados excederem 6 MB, o conector chamará a função novamente para mover os dados que estão acima do limite. Essas chamadas são tratadas sequencialmente.
      • As funções podem ser executadas por até cinco minutos. Consulte Detalhes da Entrega.
      • Não retorne dados dos destinos do serviço Functions para conectores. O Connector Hub não lê os dados retornados dos destinos do serviço Functions.
    11. Se você tiver selecionado o serviço Logging Analytics como destino, em Configurar destino, configure o grupo de logs para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
      • Compartimento: Selecione o compartimento que contém o grupo de logs desejado.
      • Grupo de logs: Selecione o grupo de logs que deseja.
    12. Se você tiver selecionado Monitoramento como destino, em Configurar destino, configure a métrica para enviar os dados de log. Em seguida, vá para a etapa 17.
      • Compartimento: Selecione o compartimento que contém a métrica desejada.
      • pace de métricas: Selecione os namespaces de métricas que incluem a métrica desejada. Você pode selecionar um namespace existente ou informar um novo namespace.

        Ao digitar um novo namespace, pressione Enter para enviá-lo.

        Para um novo namespace de métrica, não use o prefixo oci_ reservado. As métricas não são ingeridas quando prefixos reservados são usados. Consulte Publicando Métricas Personalizadas e Referência de PostMetricData (API).

      • Métrica: Selecione o nome da métrica para a qual você deseja enviar os dados. Você pode selecionar uma métrica existente ou informar uma nova métrica.

        Ao digitar um novo nome de métrica, pressione Enter para enviar.

        Para uma nova métrica, não use o prefixo oci_ reservado. As métricas não são ingeridas quando prefixos reservados são usados. Consulte Publicando Métricas Personalizadas e Referência de PostMetricData (API).

      • Adicionar dimensões: Selecione este botão para, opcionalmente, configurar dimensões. O painel Adicionar dimensões é aberto.

        As seis últimas linhas de dados de log são recuperadas do log especificado em Configurar origem.

        Especifique um par de chaves de nome/valor para cada dimensão para a qual deseja enviar dados. O nome pode ser personalizado e o valor pode ser estático ou um caminho a ser avaliado. Use dimensões para filtrar os dados depois que os dados de log forem movidos para uma métrica. Para um exemplo de caso de uso de dimensão, consulte Cenário: Criando Dimensões para um Destino do Serviço Monitoring.

        Para extrair dados (valor do caminho)
        1. Em Selecionar caminho, selecione a seta para baixo do log desejado.

          Os caminhos são listados para o log expandido.

        2. Marque a caixa de seleção do caminho desejado.

          A imagem a seguir mostra um exemplo de um caminho selecionado (bucketName) e um caminho não selecionado (eTag):

          Caminhos selecionados e não selecionados

          Em Editar caminho, os campos Nome da dimensão e Valor são preenchidos automaticamente com base no caminho selecionado.

          Se nenhum dado de log estiver disponível, você poderá informar manualmente um valor de caminho com um nome de dimensão personalizado em Editar caminho. O caminho deve começar com logContent, usando a notação de ponto (.) ou índice ([]). Ponto e índice são os únicos selecionadores JMESPath suportados. Por exemplo:
          • logContent.data (notação de ponto)
          • logContent.data[0].content (notação de índice)

          Para obter mais informações sobre notação de caminho válida, consulte JmesPathDimensionValue.

        3. Se preferir, edite o nome da dimensão.

        Para marcar dados (valor estático)

        • Em Valores estáticos, selecione + Outro valor estático e informe um nome e um valor de dimensão. Por exemplo, informe traffic e customer.

      Observação

      Para novas métricas (personalizadas), o namespace de métricas e a métrica especificados são criados na primeira vez que o conector move dados da origem para o serviço Monitoring. Para verificar a existência de dados movidos, consulte a nova métrica usando a Console, a CLI ou a API. Consulte Criando uma Consulta para uma Métrica Personalizada.

      O que está incluído na métrica

      Além de qualquer par de chaves de nome/valor da dimensão que você especificar em Configurar dimensões, as seguintes dimensões serão incluídas na métrica:
      • connectorId: O OCID do conector ao qual as métricas se aplicam.
      • connectorName: O nome do conector ao qual as métricas se aplicam.
      • connectorSourceType: O serviço de origem ao qual as métricas se aplicam.

      O timestamp de cada ponto de dados de métrica é o timestamp da mensagem de log correspondente.

    13. Se você tiver selecionado Notificações como destino, em Configurar destino, configure o tópico para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
      • Compartimento: Selecione o compartimento que contém o tópico desejado.
      • Tópico: Selecione o nome do tópico para o qual deseja enviar os dados.
      • Formato de mensagem: Selecione a opção que deseja:
        Observação

        As opções de Formato de mensagem estão disponíveis apenas para conectores com origem no serviço Logging. Essas opções não estão disponíveis para conectores com tarefas de função. Quando as opções de Formato de mensagem não estão disponíveis, as mensagens são enviadas como blobs JSON brutos.
        • Enviar mensagens formatadas: Layout simplificado e amigável.

          Para exibir protocolos de inscrição e tipos de mensagem suportados para mensagens formatadas, consulte Formatação Amigável.

        • Enviar mensagens brutas: blob de JSON bruto.

      Considerações para destinos de Notificações:

      • O tamanho máximo da mensagem para o destino Notificações é 128 KB. Qualquer mensagem que exceda o tamanho máximo será eliminada.
      • As mensagens SMS exibem resultados inesperados para determinadas configurações do conector. Esse problema se limita a tópicos que contêm assinaturas SMS para as configurações de conector indicadas. Para obter mais informações, consulte Várias mensagens SMS para uma única notificação.
    14. Se você tiver selecionado o serviço Object Storage como destino, em Configurar destino, configure o bucket para o qual enviar os dados de log. Em seguida, vá para a etapa 17.
      • Compartimento: Selecione o compartimento que contém o bucket desejado.
      • Bucket: Selecione o nome do bucket para o qual você deseja enviar os dados.
      • Prefixo do Nome do Objeto: Opcionalmente, informe um valor de prefixo.
      • Mostrar opções adicionais: Selecione este link e, opcionalmente, informe valores para o tamanho do batch (em MBs) e o tempo do batch (em milissegundos).

      Considerações para destinos de Armazenamento de Objetos:

      • Detalhes da substituição do batch:

        • Tamanho da substituição do batch: 100 MB
        • Tempo de substituição do batch: 7 minutos
      • Os arquivos salvos no serviço Object Storage são compactados usando gzip.

    15. Se você selecionou Streaming como destino, em Configurar destino, configure o fluxo para o qual enviar os dados de log.
      Observação

      Para selecionar um pool de streams e um stream para um conector, você deve ter autorização para ler o pool de streams e o stream. Consulte Políticas do IAM (Protegendo o Connector Hub). Configuração de ponto final privado é suportada. Para usar um ponto final privado, consulte Pré-requisitos de Ponto Final Privado para Streams.
      • Compartimento: Selecione o compartimento que contém o fluxo desejado.
      • Stream: Selecione o nome do stream para o qual você deseja enviar os dados.
    16. Para aceitar políticas padrão, selecione o link Criar fornecido para cada política padrão.

      As políticas padrão são oferecidas para qualquer autorização necessária para que este conector acesse os serviços de origem, tarefa e destino.

      Você pode obter essa autorização por meio dessas políticas padrão ou de políticas baseadas em grupo. As políticas padrão são oferecidas sempre que você usa a Console para criar ou editar um conector. A única exceção é quando a política exata já existe no serviço IAM; nesse caso, a política padrão não é oferecida. Para obter mais informações sobre esse requisito de autorização, consulte Autenticação e Autorização.

      • Se você não tiver permissões para aceitar políticas padrão, entre em contato com o administrador.
      • As políticas criadas automaticamente permanecem quando os conectores são excluídos. Como prática recomendada, exclua as políticas associadas ao excluir o conector.

      Para revisar uma política recém-criada, selecione o link de exibição associado.

    17. (Opcional) Adicione uma ou mais tags ao conector: Selecione Mostrar Opções Avançadas para mostrar a seção Adicionar Tags.
      Se você tiver permissões para criar um recurso, também terá permissões para aplicar tags de formato livre a esse recurso. Para aplicar uma tag definida, você deverá ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recurso. Se você não tiver certeza se deseja aplicar tags, ignore esta opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
    18. Selecione Criar.
    O processo de criação é iniciado e seu progresso é exibido. Na conclusão, a página de detalhes do conector é aberta.
  • Use o comando oci sch service-connector create e os parâmetros necessários para criar um conector com uma origem de Log:

    oci sch service-connector create --display-name "<display_name>" --compartment-id <compartment_OCID> --source [<logging_source_in_JSON>] --target [<target_in_JSON>]

    Para obter uma lista completa dos parâmetros e valores dos comandos da CLI, consulte a Referência de Comandos da CLI.

  • Execute a operação CreateServiceConnector para criar um conector.

    Para criar um conector com uma origem de Log, preencha source na solicitação (CreateServiceConnectorDetails) com detalhes de log. Para obter um exemplo, consulte LoggingSourceDetails.

Confirmar se o Novo Conector Move Dados

Depois de criar o conector, confirme se ele está movendo dados.

  • Ativar logs do conector para obter detalhes sobre o fluxo de dados.
  • Verifique os resultados esperados no serviço de destino.

A confirmação de que os dados são movidos ajuda a evitar a desativação automática, que acontece quando um conector falha por um longo tempo.