Fazer Upload de Logs sob Demanda

Se você quiser ingerir arquivos de log no Oracle Logging Analytics sem coletá-los continuamente usando o Agente de Gerenciamento, poderá executar um upload sob demanda. Você pode executar quantos uploads sob demanda forem necessários para fazer upload de quaisquer logs que queira analisar.

Veja a seguir os recursos de upload sob demanda:

  • Você pode fazer upload de um único arquivo de log bruto ou de qualquer arquivo compactado (.zip, .gz, .tgz, .tar) contendo vários arquivos de log. O número de arquivos dentro de um arquivo compactado deve ser menor que 2.000, incluindo diretórios, se houver.

  • O tamanho máximo do arquivo para um único upload (arquivo único ou arquivo ZIP) é de 1 GB. O tamanho descompactado do arquivo deve ser menor que 10 GB.

  • Você pode nomear cada upload para uma referência fácil. Ao reutilizar o nome, você pode fazer upload de arquivos em momentos diferentes para o mesmo nome de upload.

  • Há um limite de 10.000 no número de nomes de upload exclusivos permitidos por tenancy em uma região.

  • Metadados adicionais podem ser anexados a cada registro de log fornecendo um arquivo de metadados com os dados de log.

  • As informações de configuração de upload e seu status de processamento correspondente estão disponíveis por 90 dias.

  • Número de arquivos de upload exibidos na console ou listados usando a CLI:

    No console, um máximo de 200 arquivos são exibidos por padrão. Você pode procurar um arquivo específico no upload sob demanda, fornecendo o nome do arquivo ou o nome do grupo de logs no filtro.

    Usando a CLI, você pode especificar o limite de listagem de uma página com o seguinte comando:

    oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
    • limite: Número máximo de arquivos de upload a serem listados. O valor padrão é 50 e o valor máximo permitido é 200.
    • página: O token de página que representa a página na qual os resultados serão recuperados. Isso geralmente é recuperado de uma chamada de lista anterior.

    Consulte Documentação da CLI: list-upload-files.

Pré-requisitos: Antes de começar a fazer upload dos dados de log sob demanda, certifique-se de coletar as seguintes informações:

Permissão Exigida para Upload sob Demanda

Tópicos:

Permitir que os Usuários Executem Operações de Criação, Obtenção e Lista de Upload sob Demanda

Você pode permitir que os usuários executem operações de upload sob demanda Criar, Obter e Listar fornecendo seletivamente apenas as permissões necessárias para executar essas tarefas de upload sob demanda, concedendo permissões de tipo de recurso individuais ou concedendo permissões de nível agregado mais amplas. Portanto, você pode selecionar qualquer um dos três conjuntos de instruções de política fornecidos abaixo, como adequado para seu caso de uso.

As seguintes instruções de política do serviço IAM destinam-se a fornecer permissões específicas ao grupo de usuários para operações create, get e list durante o upload sob demanda:

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

As seguintes instruções de política do serviço IAM destinam-se a fornecer permissões no nível de tipos de recursos individuais para usar upload sob demanda:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

Por outro lado, as seguintes instruções de política do IAM destinam-se a fornecer permissões no nível de recursos agregados do Oracle Logging Analytics para usar o upload sob demanda:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

group_name em todas as instruções de política acima refere-se ao grupo de usuários que deve receber as permissões necessárias.

Permitir que os Usuários Executem a Operação de Exclusão de Upload sob Demanda

Você pode permitir que os usuários executem a operação Excluir de upload sob demanda, concedendo seletivamente apenas as permissões necessárias para executar a tarefa de exclusão de upload sob demanda, concedendo permissões de tipo de recurso individuais ou concedendo permissões de nível agregado mais amplas. Portanto, você pode selecionar qualquer um dos três conjuntos de instruções de política fornecidos abaixo, como adequado para seu caso de uso.

As seguintes instruções de política do serviço IAM são especificamente para fornecer a permissão ao grupo de usuários para a operação de exclusão:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

As seguintes instruções de políticas do serviço IAM destinam-se a fornecer permissões no nível de tipos de recursos individuais para a operação de exclusão de upload sob demanda:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

As seguintes instruções de políticas do serviço IAM destinam-se a fornecer permissões no nível de recursos agregados do Oracle Logging Analytics para operação de exclusão de upload sob demanda:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

group_name em todas as instruções de política acima refere-se ao grupo de usuários que deve receber as permissões necessárias.

Upload sob Demanda Usando a Console

Você pode fazer upload dos seus arquivos de log usando o assistente de Upload sob Demanda (ODU) que está disponível na console de serviço do Oracle Logging Analytics.

O assistente do ODU é um método simples e prático de fazer upload dos arquivos por meio de uma interface de usuário simples. Siga as etapas intuitivas solicitadas pelo assistente para selecionar os arquivos de upload, definir as propriedades dos arquivos e conferir antes de fazer upload deles.
  1. Acesse a página Uploads no Oracle Logging Analytics:

    Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.

    Os recursos de administração são listados no painel de navegação à esquerda em Recursos. Clique em Uploads.

  2. Na página Uploads, clique em Fazer Upload de Arquivos.
    A página Fazer Upload de Arquivos é aberta.
  3. Selecionar Arquivos:
    • Digite o Nome do Upload. Esse é o nome que você pode usar para rastrear o status dos arquivos de log carregados. Você poderá executar vários uploads em momentos diferentes usando o mesmo nome de upload se quiser manter um conjunto de uploads juntos.
    • Selecione o Compartimento do Grupo de Logs para definir o escopo em que o grupo de logs está localizado.
    • Selecione o Grupo de Logs no qual os logs devem ser armazenados.

      Para criar um novo grupo de logs, selecione o compartimento e clique em Criar Grupo de Logs. Na caixa de diálogo, digite o nome e a descrição. Clique em Criar.

    • Clique no botão Selecionar Arquivos e selecione os arquivos de log a serem carregados. Tipos de arquivo como zip, tar, tgz e quaisquer arquivos de texto bruto são aceitos para upload. Você pode selecionar vários arquivos em um único upload.

    Um resumo dos arquivos selecionados para upload é exibido. Observe que o tamanho máximo do arquivo individual é de 100 MB. Você pode fazer upload de no máximo 25 arquivos individuais por upload. Um arquivo sem conteúdo não é válido e não é considerado para upload quando há vários arquivos selecionados.

    Clique em Próximo.

  4. Definir Propriedades: A página exibe a lista de arquivos selecionados na primeira etapa. É um requisito obrigatório que você especifique a origem a ser usada para processar cada arquivo. Você pode fornecer outras propriedades adicionais. Para definir as propriedades de todos os arquivos, marque a caixa de seleção no cabeçalho e clique em Definir Propriedades. Para definir as propriedades de um arquivo específico, clique no ícone do menu Ações ícone do menu de ações ao lado do nome do arquivo > clique em Definir Propriedades. A caixa de diálogo Definir Propriedades é aberta.
    1. Selecione a origem que deve ser usada para processar os arquivos de log no menu drop-down Origem.

      Para executar o upload sob demanda, a origem deve ser do tipo Mensagens de Evento do Sistema (Syslog), Arquivo ou Oracle Diagnostic Logs (ODL).

    2. Se você quiser mapear esses arquivos submetidos a upload para uma entidade, poderá selecionar o compartimento no qual a entidade está localizada no menu drop-down Compartimento de Entidades.
    3. Você tem a opção de especificar a entidade. Com base no compartimento da entidade que você selecionou e no tipo de entidade definido na origem selecionada, o menu drop-down Entidade é preenchido. Selecione a entidade.
    4. Talvez seja necessário especificar as propriedades avançadas quando as informações obrigatórias não estiverem disponíveis na entrada de log para processamento adequado. Expanda a seção Mostrar Opções Avançadas. No menu drop-down, selecione os valores dos parâmetros Fuso Horário do Log, Codificação de Caracteres, Formato de Data e Ano do Conteúdo de Log. Clique em Salvar Alterações.
      • Fuso Horário do Log: As informações de fuso horário a serem usadas para processar as entradas de log. Por padrão, as informações de fuso horário na entrada de log são usadas para processamento. Quando as informações não estiverem disponíveis na entrada de log, o valor selecionado no menu será considerado. Caso o valor não esteja disponível nesse menu ou diretamente na entrada de log, o fuso horário da entidade será considerado. Quando não há informações disponíveis sobre o fuso horário, o valor padrão considerado é UTC.
      • Codificação de Caracteres: A codificação de caracteres dos arquivos de log que estão sendo submetidos a upload. O Oracle Logging Analytics tenta detectar automaticamente a codificação de caracteres, mas em casos de uso específicos, pode ser necessário substituir esse valor.
      • Formato de Data: O formato das informações de data disponíveis nos arquivos de log. Ao utilizar a macro {TIMEDATE}, use esse parâmetro para remover qualquer ambiguidade na identificação do formato da data na entrada de log em questão. Por exemplo, quando a data for 12/10, onde ela pode ser interpretada como 12th October ou 10th December, você pode usar DAY_MONTH ou MONTH_DAY para remover ambiguidade. Caso a data seja 12/10/08, você poderá usar DAY_MONTH_YEAR, MONTH_DAY_YEAR ou YEAR_MONTH_DAY.

        Se o parser usar a extração do componente de tempo, não haverá ambiguidade; com isso, você poderá ignorar a especificação do formato de data.

      • Ano do Conteúdo de Log: As informações sobre o ano a serem usadas para processar as entradas de log quando elas não tiverem as informações sobre o ano no timestamp.

      Expanda a linha da tabela para exibir as propriedades especificadas. Você pode remover os arquivos selecionados da lista de upload, se necessário.

      Certifique-se de selecionar uma origem para cada arquivo de upload antes de continuar o upload.

    5. Clique em Próximo.
  5. Revisar: Verifique as propriedades dos arquivos selecionados para upload. Para confirmar as propriedades e iniciar o upload, clique em Carregar.

    O Oracle Logging Analytics indexa e processa os arquivos. Após a conclusão do upload, clique em Fechar para navegar até a página de listagem de uploads.

    Se o upload de um arquivo falhar, clique no ícone Repetir ao lado do nome do arquivo para fazer upload dele novamente. Depois que o upload for bem-sucedido, clique em Fechar para navegar até a página de listagem de uploads.

Na página Uploads, clique no nome do upload para visitar a página Detalhes do Upload, na qual você pode ver um resumo do upload e as advertências associadas a ele.

Upload sob Demanda Usando a CLI

Você pode usar a CLI do OCI para fazer upload dos seus arquivos de log para o Oracle Logging Analytics por meio de uma interface de linha de comando. Essa interface simples permite que você automatize seus uploads integrando a CLI ao seu aplicativo.

Para obter informações sobre como usar a CLI, consulte Interface de Linha de Comando (CLI).

Para obter uma lista completa de flags e opções disponíveis para comandos da CLI, consulte Referência da Linha de Comando: Logging Analytics - Fazer Upload.

Execute os seguintes comandos da CLI para gerenciar loganalytics-ondemand-upload:

  • Fazer Upload do Arquivo de Log:

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    Resposta de amostra do comando acima:

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • Excluir Upload:

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Listar Uploads:

    oci log-analytics upload list --namespace-name <namespace_name>
  • Obter Upload:

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Listar Arquivos de Upload:

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Excluir Arquivo de Upload:

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

Verificar um Upload sob Demanda Usando a Console

Ao concluir um upload sob demanda dos dados de log, você pode exibir o resumo dos uploads e verificar o status do arquivo.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.
  2. No painel esquerdo, em Recursos, clique em Uploads. Isso exibe os uploads sob demanda mais recentes.
  3. Para exibir os dados processados do upload, clique no ícone de menu ícone de menu correspondente ao upload > selecione Exibir no Log Explorer.
  4. Para exibir a lista de arquivos no upload com seus status de processamento, clique no nome do upload.

Excluir Arquivos de Log Submetidos a Upload Usando a Console

Ao concluir um upload sob demanda dos dados de log, você pode exibir o resumo dos uploads e verificar o status do arquivo. Se, no caso de notar que o upload do arquivo falhou ou você não quiser mais manter os arquivos desse upload, poderá excluí-los.

  1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.
  2. No painel esquerdo, em Recursos, clique em Uploads. Isso exibe os uploads sob demanda mais recentes.
  3. Para excluir um upload sob demanda, clique no ícone de menu ícone de menu correspondente ao upload > selecione Excluir.
  4. Para excluir um arquivo em um upload sob demanda, clique no nome do upload para ir até a página de detalhes do upload.

    Isso exibe a lista de arquivos incluídos no upload especificado. Você pode ver o status de cada arquivo adjacente ao nome do arquivo.

    Para excluir um arquivo, clique no ícone de menu ícone de menu adjacente ao nome do arquivo e selecione Excluir.

Adicionar Mais Metadados ao Upload

Crie um arquivo json de metadados e nomeie-o como uploads_metadata.json. Veja o seguinte exemplo de arquivo de metadados:

{
    "field1":"value1",
    "field2":"value2"
}

No arquivo acima, field1 e field2 são campos definidos pelo usuário ou pela Oracle. Consulte Criar um Campo. Todos esses campos, com os valores fornecidos, serão adicionados a cada registro de log analisado.

Crie um arquivo zip contendo os dados de log reais em um dos formatos de arquivo suportados e o arquivo uploads_metadata.json. O arquivo uploads_metadata.json deve estar localizado na hierarquia superior do zip.