Gerenciar Armazenamento

Os dados de log inseridos no Oracle Logging Analytics ficam disponíveis no armazenamento ativo para análise. Você pode executar as seguintes atividades relacionadas ao armazenamento com base em sua necessidade:

  • Logs de Arquivamento: Se você quiser usar seus logs antigos para análise no futuro, ative o arquivamento e especifique o número de dias do timestamp do log após o qual os dados de log devem ser movidos automaticamente do armazenamento ativo para o armazenamento de arquivos compactados que está disponível a um custo menor. Você também pode recuperar os dados de log arquivados para uso ativo. Consulte Arquivar Dados de Log.

    • Recuperar Logs Arquivados: Depois que os dados de log forem arquivados, você poderá recuperar os selecionados para uso ativo. Os logs são selecionados para recuperação especificando a faixa de tempo na qual os timestamps dos logs estão presentes. Você pode liberar os logs recuperados de volta para o pool de arquivos compactados após o uso ativo. Observe que os dados recuperados serão contados para seu uso de armazenamento ativo até que você os liberes. Consulte Recuperar Logs Arquivados.

    • Liberar Logs Recuperados: Use essa opção para liberar os logs recuperados de volta para o armazenamento de arquivos compactados para otimizar seu custo de armazenamento. Consulte a etapa 8 em Recuperar Logs Arquivados.

  • Expurgar Logs: Você pode expurgar dados de log antigos ou não utilizados para reduzir o tamanho do armazenamento ativo que você está consumindo. Você pode executar a expurgação sob demanda ou criar uma política de expurgação. Consulte Expurgar Dados de Log.

  • Exibir Relatório de Atividade de Armazenamento: Use esta janela de painel único para rastrear todas as atividades de gerenciamento de armazenamento e para executar mais tarefas de gerenciamento. Consulte Exibir Relatório de Atividades de Armazenamento.

Você pode usar o predicado Recall em sua consulta para filtrar os logs recuperados, os logs ativos ou ambos. Consulte Predicado de Consulta para Filtrar os Logs Rechamados.

Observação

Sua política de arquivamento e atividade de recuperação poderão não ser concluídas se as linhas de tempo se sobrepuserem à política de expurgação. Certifique-se de rever a política de expurgação e a configuração de arquivamento para evitar a perda de dados de log que devem ser arquivados.

Dados de Log de Arquivamento

Se você estiver usando apenas os logs recentes em suas tarefas de pesquisa e análise no Oracle Logging Analytics, permita o arquivamento para que possa otimizar o custo do armazenamento.

Observação

  • Você só poderá ativar o arquivamento depois de ter o tamanho mínimo especificado de dados no armazenamento ativo. Atualmente, seria 1 TB.

  • O mínimo de Duração do Armazenamento Ativo (Dias) para que os logs possam ser arquivados é 30 dias.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.

  2. Os recursos de administração são listados no painel de navegação à esquerda em Recursos. Clique em Armazenamento.

    A página Armazenamento é exibida.

  3. Clique em Ativar Arquivamento. Na caixa de diálogo Ativar arquivamento,

    • Informe a contagem dos dias após os quais os dados do log no armazenamento ativo devem ser arquivados no campo Duração de Armazenamento Ativo (Dias).

      A contagem é calculada com base no timestamp dos logs. Por exemplo, se seus logs tiverem o timestamp November 4, 2020 23:43:12 e você tiver especificado a Duração do Armazenamento Ativo como 30, os logs geralmente serão movidos para o armazenamento de arquivos compactados em December 3, 2020.

      Observação

      Observe que, mesmo que você especifique a Duração do Armazenamento Ativo dos logs para determinar os logs que devem ser movidos para o armazenamento de Arquivos Compactados, a estrutura de índice de logs será baseada nos buckets que são usados para armazenar os logs. Em um cenário típico, um bucket inteiro é movido para o armazenamento de arquivos compactados quando todos os logs nele são mais antigos que o critério especificado.

      Por exemplo, considere que o campo Duração do Armazenamento Ativo esteja definido como 30 dias:

      • Bucket_1 tem logs de idade de 40 a 80 dias: Os dados de log são elegíveis e são movidos para o armazenamento de arquivos compactados.
      • Bucket_2 tem logs de 25 a 40 dias: Embora alguns dados de log sejam elegíveis para arquivamento, eles não serão arquivados até que todos os logs estejam adequados à idade especificada.
      • Bucket_3 tem logs de 0 a 25 dias: Nenhum dos logs é adequado para arquivamento. O bucket inteiro é arquivado quando todos os logs se tornam elegíveis.

      No cenário anterior, depois que os logs de Bucket_1 são arquivados, se mais logs forem coletados com mais de 40 dias, eles geralmente serão anexados a Bucket_2.

    • Por padrão, os dados de log permanecem no armazenamento de arquivamento por tempo indefinido. A caixa de seleção Indefinidamente é ativada ao lado do campo Duração do Armazenamento de Arquivamento (Dias).

      Você pode modificar a duração desativando a caixa de seleção e informando a contagem dos dias após os quais os dados de log no armazenamento de arquivamento devem ser expurgados no campo Duração do Armazenamento de Arquivamento (Dias).

    Clique em Ativar.

  4. Se você já tiver ativado o arquivamento e quiser modificar as definições dele, clique em Modificar Definições de Arquivamento. Você pode executar qualquer uma das seguintes tarefas:

    • Você pode alterar o valor da contagem dos dias especificados para arquivamento em Duração do Armazenamento Ativo (Dias).
    • Você pode alterar o valor da contagem dos dias especificados para expurgar os logs do armazenamento de arquivamento em Duração do Armazenamento de Arquivamento (Dias) ou ativar a caixa de seleção Indefinidamente para reter permanentemente os logs no armazenamento de arquivamento.
    • Clique em Desativar Arquivamento para interromper o arquivamento.

    Clique em Salvar Alterações.

Recuperar Logs Arquivados

Você pode recuperar logs arquivados para exibição e análise. Uma vez recuperados, os dados são contados em relação ao uso de armazenamento ativo até serem liberados de volta para o arquivo compactado.

Você pode recuperar e liberar os mesmos conjuntos de logs várias vezes. Não há dependências entre recalls, mesmo que seus intervalos de tempo ou consultas se sobreponham.

Observação

Cada recall é faturado com base no uso de armazenamento ativo gerado.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.

  2. Os recursos de administração são listados no painel de navegação à esquerda em Recursos. Clique em Armazenamento.

    A página Armazenamento é exibida.

  3. Na página Armazenamento, no painel esquerdo abaixo de Recursos, clique em Solicitações de Recuperação de Arquivamento.

    A página Solicitações de Recuperação de Arquivamento exibe as solicitações de recuperação iniciadas anteriormente.

  4. Clique em Criar Solicitação de Recuperação. A caixa de diálogo Criar Solicitação de Recuperação é aberta.

  5. Especifique a Finalidade da recuperação. Isso pode ajudá-lo a identificar sua solicitação de recall.

  6. Opcionalmente, se você tiver definido o conjunto de logs, poderá especificar um ou mais Conjuntos de Logs para filtrar os dados recuperados. Para especificar vários conjuntos de logs, use separação por vírgula.

  7. Selecione a faixa de tempo dos logs que você deseja recuperar, especificando o Hora inicial definida pelo usuário e o Hora final definida pelo usuário.

  8. Clique em Estimar Tamanho do Log de Recall. A seção Conjunto de dados recomendado para análise é aberta. O tamanho dos logs selecionados para recall é exibido ao lado do cabeçalho Tamanho máximo dos dados recuperados antes da filtragem.

    Observe que o horário inicial e o horário final são estendidas para alinhamento com a estrutura de índice de logs com base nos buckets. Portanto, quando você exibir a lista de recuperações ativas ou visitar a guia de atividades, poderá obter os horários inicial e final estendidos além da faixa de tempo escolhida.

  9. Um intervalo de tempo alternativo é recomendado com base na disponibilidade dos dados. Para selecionar o intervalo de tempo especificado anteriormente, em vez do intervalo de tempo recomendado, ative a caixa de seleção Não usar o conjunto de dados recomendado para recall

  10. Especifique a Consulta para filtrar o conjunto de dados. Exclua o tempo e o conjunto de logs da consulta.

    A especificação dos filtros reduz o tamanho real dos dados recuperados. No entanto, o filtro não afeta essa estimativa.

    Observação

    Somente filtros de pesquisa ou regex são suportados na consulta. Evite adicionar pipes, agregados ou funções estatísticas à consulta.

    Você pode usar qualquer campo de log para filtrar os dados com a consulta, exceto horário e conjunto de logs.

    Alguns exemplos de pesquisas inválidas:

    • Entity = ‘test1’ | search ‘xyz’

      Em vez disso, você pode usar Entity = 'test1' and 'xyz', que é válido. Da mesma forma, mais exemplos válidos incluem 'Entity = 'test1' e 'Log Source' = 'AVDF Alert Linux Syslog' and 'xyz'.

    • Entity = ‘test1’ | stats count

      A consulta acima não tem uma solução alternativa porque tem uma função estatística e um pipe. No entanto, o uso somente do filtro de entidade é válido Entity = ‘test1’.

  11. Clique em Criar Solicitação de Recuperação para prosseguir com a recuperação dos logs selecionados.

    A atividade de recuperação é listada na página Solicitações de Recuperação de Arquivamento. A tabela especifica o status, o intervalo de tempo, o tamanho dos dados e a data e hora da solicitação da atividade de recall, o usuário que iniciou a recall e a finalidade da recall.

    Veja o status da atividade de recuperação. Você pode usar os logs recuperados para exibição e análise após a conclusão da atividade de recuperação.

    Observação

    Se o status da sua recuperação for PARTIAL_RECALLED, libere e recupere novamente, pois a recuperação atual não inclui dados completos para análise.

    Se o ícone de tamanho de dados de uma coleta for exibido em laranja, novos dados de log adicionais estarão disponíveis para recuperação. Clique no ícone de dados ícone de novos dados e clique em Recuperar novos dados para iniciar a recuperação dos novos dados. A caixa de diálogo Recuperar novos dados é aberta. A consulta para filtrar o conjunto de dados e o intervalo de tempo para recuperação de dados são predefinidos. Especifique a finalidade da recuperação e clique em Criar Solicitação de Recuperação.

  12. Após o uso ativo dos logs recuperados, se você quiser liberá-los de volta para o pool de arquivos compactados, clique no ícone de menu de ações ícone Ações na linha correspondente aos seus logs recuperados e selecione Release.

    Os logs recuperados serão liberados de volta para o pool de arquivos compactados. Isso permitirá otimizar o tamanho e o custo do armazenamento.

    Observação

    Ao liberar os logs recuperados usando a API REST, observe o intervalo de tempo de recuperação da console ou da CLI e formate o tempo da seguinte forma:

    • Horário inicial da chamada: Arredonde para baixo (piso) o valor. Se o horário inicial da recuperação for From Mon, Mar 7, 2022, 05:45:33 UTC, arredonde o horário para baixo e especifique-o como from_time=2022-03-07T5:45:32.000Z.
    • Horário final da chamada: Arredonde para cima (teto) o valor. Se o horário final da recuperação for To Wed, Mar 15, 2023, 17:26:53 UTC, arredonde-o e especifique-o como to_time=2023-03-15T17:26:54.000Z.

Se você obter dados de log duplicados no Log Explorer ou nos Painéis de Controle porque há duas ou mais recalls sobrepostos, poderá adicionar o predicado de consulta recall purpose em sua pesquisa para ver apenas a recuperação relevante. Consulte Predicado de Consulta para Filtrar os Logs Rechamados

Expurgar Dados de Log

O Oracle Logging Analytics permite que você exclua eventos de log que foram carregados pelo agente ou por um upload sob demanda para reduzir o tamanho do índice dos dados de log.

A expurgação permite que você reduza seu uso para reduzir encargos excedentes. O Oracle Logging Analytics pode limpar dados de log automaticamente de acordo com uma programação definida ou manualmente com base em sua necessidade. Antes de expurgar dados de log, crie políticas do serviço IAM para configurar permissões para a tarefa. Consulte Permitir que Usuários Expurguem Dados de Log.

Há várias maneiras de expurgar dados de log.

  • Expurgando sob demanda: Todos os dados de log do compartimento especificado criados antes da faixa de tempo selecionada são expurgados.

    Para usar a CLI para expurgar sob demanda, consulte purge-storage-data.

    Para usar a API REST para expurgar sob demanda, consulte PurgeStorageData.

  • Criando uma política de expurgação: Os dados de log antigos podem ser expurgados especificando uma programação para expurgação e a consulta para filtrar os dados a serem expurgados. Se quiser automatizar a atividade de expurgação, você poderá criar uma política de expurgação especificando a programação de expurgação, selecionando os dados de log a serem expurgados e ativando a política.

    Para usar a CLI para criar uma política de expurgação, consulte create-standard-task.

    Para usar a API REST para criar uma política de expurgação, consulte CreateScheduledTask.

    Quando você usa a CLI ou a API REST para criar uma política de expurgação, o valor do parâmetro task-type deve ser definido como PURGE.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.

    Os recursos de administração são listados no painel de navegação à esquerda em Recursos. Clique em Armazenamento.

    A página Armazenamento é exibida.

  2. Na página Armazenamento, você pode expurgar dados de log em um dos seguintes métodos:
    • Executar Expurgação sob demanda:

      Clique em Expurgar Logs. A caixa de diálogo Expurgar Logs é exibida.

      • Selecione o compartimento no qual os logs devem ser expurgados.

      • Especifique se os subcompartimentos também devem ser incluídos na Expurgação.

      • Selecione a data e a hora anteriores à qual os dados de log que devem ser expurgados foram coletados.

        A ação de expurgação é executada nos dados de log de todos os buckets do compartimento selecionado que foram coletados antes do período especificado. Por exemplo, se você especificar a data e a hora como November 2, 2020 12:00:00 e o compartimento Analyze, os dados de log com o timestamp anterior a November 2, 2020 12:00:00 armazenados no compartimento Analyze serão excluídos.

      • No campo Consulta, digite a consulta para selecionar um conjunto específico de dados de log. Por exemplo, para selecionar os logs das entidades do tipo Host Linux, especifique a consulta 'Entity Type'='Host (Linux)'.

        Consulte Exemplos de Consultas para Expurgação de Dados de Log.

      • Clique em Estimar Armazenamento Reivindicado para determinar o tamanho do armazenamento que pode ser reivindicado com base na seleção feita nos campos anteriores.

      • Clique em Expurgar.

    • Criar uma política de expurgação para expurgar logs com base em uma consulta ou vencimento:

      Em Políticas de Expurgação, clique em Criar. A caixa de diálogo Criar Política de Expurgação é aberta.

      • Digite um nome para a nova política de expurgação.

      • Selecione o compartimento do grupo de logs para consultar os logs. Opcionalmente, você pode especificar se os subcompartimentos também devem ser consultados para os logs especificados.

      • Em Expurgar Logs Mais Antigos que, selecione o período a partir do qual os dados de log devem ser expurgados.

      • Em Intervalo de Programação, selecione a periodicidade e o horário da ação de expurgação.

      • No campo Consulta, digite a consulta para selecionar um conjunto específico de dados de log. Por exemplo, para selecionar os logs da origem Apache HTTP Server Access Logs, especifique a consulta 'Log Source'='Apache HTTP Server Access Logs'.

        Consulte Exemplos de Consultas para Expurgação de Dados de Log.

      • Clique em Estimar Armazenamento Reivindicado para determinar o tamanho do armazenamento que seria reivindicado se as seleções feitas nos campos anteriores fossem aplicadas agora.

      • Opcionalmente, clique em Mostrar Opções Avançadas e adicione tags à política de expurgação.

      • Clique em Criar.

      A política de expurgação é criada e será executada periodicamente, conforme definido nas etapas anteriores.

      Observação

      Se uma política de expurgação for pausada devido à falta de permissões, após modificar as instruções de política conforme necessário, Retomar manualmente a tarefa de expurgação.

    Para excluir uma política, clique no ícone Ações ícone Ações ao lado do nome da política e clique em Excluir.

    Para exibir as atividades de expurgação executadas, na página Armazenamento, em Recursos, clique em Relatório de Atividade. A página Relatório de Atividade é exibida, resumindo todas as atividades de armazenamento. Use os filtros Status e Tempo para exibir as atividades de expurgação preferenciais.

Permitir que Usuários Expurguem Dados de Log

Para expurgar dados de log, primeiro configure as permissões corretas criando as seguintes políticas do serviço IAM:

  1. Crie um grupo dinâmico para permitir expurgações para os compartimentos nos quais você deseja permitir expurgações:

    ALL {resource.type='loganalyticsscheduledtask', resource.compartment.id='<compartment ocid>'}

    Como alternativa, para permitir expurgações em todos os compartimentos:

    ALL {resource.type='loganalyticsscheduledtask'}
  2. Crie políticas para permitir que o grupo dinâmico execute a operação de expurgação:

    allow dynamic-group <group_name> to read compartments in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_STORAGE_PURGE} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_STORAGE_WORK_REQUEST_CREATE} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_QUERYJOB_WORK_REQUEST_READ} in tenancy
    Observação

    • Para o funcionamento adequado da política de expurgação, as permissões read compartments, LOG_ANALYTICS_STORAGE_PURGE e LOG_ANALYTICS_QUERY_VIEW devem ser criadas no nível da tenancy. Para restringir a permissão de ação de expurgação a compartimentos específicos, as permissões LOG_ANALYTICS_STORAGE_WORK_REQUEST_CREATE, LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS e LOG_ANALYTICS_QUERYJOB_WORK_REQUEST_READ podem ser definidas no nível de compartimento necessário.

    • Nas instruções de política acima que envolvem grupo dinâmico, se o grupo dinâmico estiver em um domínio diferente de Padrão, a instrução de política deverá estar no formato:

      allow dynamic-group '<domain>'/'<group_name>' to ...

      Coloque o nome do domínio e o nome do grupo dinâmico entre aspas simples.

  3. Além disso, certifique-se de que o usuário tenha a permissão MANAGE em loganalytics-features-family e loganalytics-resources-family. Se o usuário que cria a expurgação sob demanda ou programada tiver privilégios de Administrador, as permissões necessárias já estarão disponíveis:

    allow group <group_name> to MANAGE loganalytics-features-family in tenancy
    allow group <group_name> to MANAGE loganalytics-resources-family in tenancy

Algumas das instruções de política acima estão incluídas nos modelos de política definidos pela Oracle prontamente disponíveis. Talvez você queira considerar o uso do modelo para seu caso de uso. Consulte Modelos de Política definidos pela Oracle para Casos de Uso Comuns.

Para obter informações sobre grupos dinâmicos e políticas do serviço IAM, consulte Documentação do OCI: Gerenciando Grupos Dinâmicos e Documentação do OCI: Gerenciando Políticas.

Exemplos de Consultas para Expurgação de Dados de Log

Forneça uma consulta de filtro simples para identificar os dados de log que devem ser limpos. No caso de caracteres curinga na consulta, como *, ? e %, evite usá-los na política de expurgação. A Oracle recomenda o uso de Definições de Campo Estendido para dados futuros em tarefas de expurgação.

Para obter diretrizes sobre como criar consultas para filtrar dados de log, consulte Pesquisa de Consulta.

Exclua Todos os Dados com mais de 30 Dias todos os domingos à meia-noite:

  • Expurgar Logs Anteriores a: 30 Days
  • Intervalo de Programação: Every Week, Dia: Sunday, Hora: 00:00, Fuso Horário: Asia/Calcutta
  • Query: *

Exclua logs dos Logs de Auditoria do OCI de origem mais antigos que 2 meses:

  • Expurgar Logs Anteriores a: 2 Months
  • Consulta: 'Log Source' = 'OCI Audit Logs'

Expurgar log de uma origem de log e entidades específicas associadas a essa origem com mais de 1 ano:

  • Expurgar Logs Anteriores a: 1 Year
  • Consulta: 'Log Source' = 'OCI VCN Flow Unified Schema Logs' and Entity in ('Entity1', 'Entity2')

Predicado de Consulta para Filtrar Logs Rechamados

Você pode usar o predicado Recall para filtrar apenas os logs recuperados, apenas os dados ativos ou ambos. Forneça um valor que corresponda ao nome da recuperação. Você pode usar operadores boolianos e de comparação, como =, !=, IN, NOT IN, LIKE e NOT LIKE, na consulta.

Por exemplo:

  • Para filtrar somente dados da Análise de Indisponibilidade de Serviço 2025-03-01:

    Recall = 'Outage Analysis 2025-03-01'
  • Para filtrar dados de Análise de Tráfego de Rede 2024 e Tráfego do Dia da Mão de Obra 2024:

    Recall IN ('Network Traffic Analysis', 'Labor Day Sale')
  • Para filtrar dados de todos os recalls que têm nome/finalidade como Análise de Indisponibilidade de Serviço 2025...:

    Recall like 'Outage Analysis 2025*'
  • Para filtrar todos os dados diferentes de Tráfego do Dia da Mão de Obra de 2024 e Tráfego de Natal de 2024:

    Recall not in ('Labor Day Traffic 2024', 'Christmas Traffic 2024')
  • Para ver apenas dados ativos:

    Recall = null

Exibir Relatório de Atividades de Armazenamento

Você pode exibir o resumo das atividades de arquivamento, recuperação, liberação e expurgação para manter o controle completo do uso do armazenamento e também rastrear o status dos principais logs que fazem parte das atividades.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.

  2. Os recursos de administração são listados no painel de navegação à esquerda em Recursos. Clique em Armazenamento.

    A página Armazenamento é exibida.

  3. No painel esquerdo em Recursos, clique no Relatório de Atividade.

    A página exibe o resumo das atividades de armazenamento iniciadas, como política de expurgação, expurgação sob demanda, arquivamento, solicitação de recuperação de arquivamento e liberação de recuperação.

  4. Use os filtros Tipo de Atividade, Status e Tempo no painel esquerdo para restringir a pesquisa das atividades de armazenamento.

  5. Expanda a linha da atividade de armazenamento para exibir mais detalhes sobre ela.