Solucionar Problemas do Pipeline de Ingestão

Depois que seus dados de log são incluídos no Logging Analytics usando qualquer um dos métodos de ingestão disponíveis, o processamento de dados começa de forma assíncrona. Durante o processamento de dados, se forem encontrados erros relativos a configuração, tamanho ou estrutura do log, autorização (aplicável somente para o tipo ObjectCollection) ou definição de parser, eles poderão resultar em problemas como:

  • Os dados de log não estão disponíveis no Log Explorer para visualização

  • Apenas dados parciais estão disponíveis para visualização

  • Os dados são processados de forma incompleta e marcados com falhas de parsing

  • Os dados não estão associados aos recursos esperados, como entidade ou metadados adicionais

Use a métrica Erros de Processamento para detectar o erro e solucionar problemas do pipeline de ingestão identificando o tipo de erro e mapeando-o para o método de ingestão usado. Para ver as etapas de acesso à métrica Erros de Processamento, consulte Monitorar Métricas de Serviço do Logging Analytics.

Veja a seguir os métodos de ingestão (collectionType) cuja métrica de erros de processamento será gerada:

  • Upload sob demanda (ODU): Para todos os dados cujo upload é feito no Logging Analytics por meio de um dos métodos de upload sob demanda.

  • Ingestão usando o Conector de Serviço (ServiceConnector): Use o Conector de Serviço para coletar os logs do serviço do Oracle Cloud Infrastructure com o Logging Analytics como destino.

  • Coletar dados do bucket do Object Storage (ObjectCollection): Para dados de log coletados continuamente armazenados em um bucket do Oracle Cloud Object Store.

  • Coleta de Eventos de Log (LogEventsCollection): Para os dados coletados usando a API uploadLogEvents.

Quando erros são detectados, a métrica Erros de Processamento exibe uma linha para cada tipo de coleta ativado na tenancy ou no compartimento. Passe o cursor sobre os pontos de dados do gráfico para exibir mais detalhes sobre o erro. Siga estas etapas quando um erro for reportado para um tipo de coleta e quando você quiser encontrar o tipo de erro exato:

  1. Clique no menu Opções no canto superior direito da métrica Erros de Processamento e selecione Exibir no Explorador de Métricas.

    A métrica agora é exibida no Explorador de Métricas. Aqui, você pode exibir o gráfico com mais detalhes.

  2. Clique em Editar Consultas e selecione Nome da Dimensão e Valor da Dimensão para a métrica. Por exemplo, se a métrica Erro de Processamento tiver reportado um erro para o tipo de coleta ServiceConnector, selecione o valor do nome da dimensão como collectionType e o valor da dimensão como serviceConnector.

    Clique em Atualizar Gráfico para atualizar a visualização do gráfico. O gráfico agora exibirá somente os erros do fluxo de coleta de log da Conexão de Serviço. Ele representa uma linha para cada combinação de errorType e resourceId.

    Você pode alternar para a view Tabela de Dados e ver uma representação tabular dos pontos de dados de erro coletados.

  3. Altere o nome da dimensão para errorType e resourceId e exiba as informações de erro correspondentes no gráfico.

Veja a seguir os diversos tipos de erros reportados por meio desta métrica:

Tipo de Erro Descrição Correção Recomendada

InvalidConfiguration

Há um erro com a configuração fornecida, por exemplo, uma origem de log incorreta ou detalhes incorretos da entidade.

Alguns exemplos:

  • Conector de Serviço: O eventType não é reconhecido ou suportado no Logging Analytics; você pode ter configurado um mapeamento incorreto de eventType se está usando logs personalizados.
  • Upload sob demanda (ODU), Coleta de Objetos: A Origem usada durante a execução de um ODU é possivelmente inválida; o tipo de Origem não é suportado pelo ODU; a combinação de Origem e Tipo de Entidade (quando fornecida EntityId) é inválida.

Revise suas definições de configuração e verifique se elas estão definidas corretamente. Consulte Hierarquia dos Principais Recursos.

InvalidPayload

Os dados ingeridos têm um dos seguintes problemas:

  • O formato do payload é inválido
  • Excede o limite de tamanho
  • O formato do arquivo compactado é inválido

Certifique-se de que os dados estejam em conformidade com o limite de tamanho, o formato e os formatos de arquivo compactado prescritos. Consulte Logs de Ingestão.

StructureMismatch

Há uma incompatibilidade entre os dados identificados para coleta e a definição do parser.

Por exemplo,

  • A expressão inicial de entrada não tem correspondência no arquivo JSON ou XML fornecido, resultando em entradas de log ZERO coletadas
  • Quando a origem tem um tipo de parser Regex, mas um arquivo JSON está disponível para coleta

Verifique sua definição de parser e certifique-se de que os dados de entrada estejam de acordo com a definição fornecida. Criar um Parser

NotAuthorizedOrNotFound

Esse erro só é visível para coleta de dados do bucket de armazenamento de objetos quando é encontrado um erro de autorização durante a leitura dos dados da tenancy.

Por exemplo,

  • As políticas necessárias para que o Logging Analytics leia objetos da tenancy foram removidas ou não existem.

Verifique as políticas do IAM criadas para ativar a coleta de logs do bucket de armazenamento de objetos e verifique se as seguintes permissões foram fornecidas ao Logging Analytics:

allow service loganalytics to read buckets in compartment/tenancy

allow service loganalytics to read objects in compartment/tenancy