Fazer Upload de Logs sob Demanda
Se você quiser ingerir arquivos de log no Oracle Logging Analytics sem coletá-los continuamente usando o Agente de Gerenciamento, poderá executar um upload sob demanda. Você pode executar quantos uploads sob demanda forem necessários para fazer upload de quaisquer logs que queira analisar.
Veja a seguir os recursos de upload sob demanda:
-
Você pode fazer upload de um único arquivo de log bruto ou de qualquer arquivo compactado (
.zip
,.gz
,.tgz
,.tar
) contendo vários arquivos de log. O número de arquivos dentro de um arquivo compactado deve ser menor que 2.000, incluindo diretórios, se houver. -
O tamanho máximo do arquivo para um único upload (arquivo único ou arquivo ZIP) é de 1 GB. O tamanho descompactado do arquivo deve ser menor que 10 GB.
-
Você pode nomear cada upload para uma referência fácil. Ao reutilizar o nome, você pode fazer upload de arquivos em momentos diferentes para o mesmo nome de upload.
-
Há um limite de 10.000 no número de nomes de upload exclusivos permitidos por tenancy em uma região.
-
Metadados adicionais podem ser anexados a cada registro de log fornecendo um arquivo de metadados com os dados de log.
-
As informações de configuração de upload e seu status de processamento correspondente estão disponíveis por 90 dias.
-
Número de arquivos de upload exibidos na console ou listados usando a CLI:
No console, um máximo de 200 arquivos são exibidos por padrão. Você pode procurar um arquivo específico no upload sob demanda, fornecendo o nome do arquivo ou o nome do grupo de logs no filtro.
Usando a CLI, você pode especificar o limite de listagem de uma página com o seguinte comando:
oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
- limite: Número máximo de arquivos de upload a serem listados. O valor padrão é 50 e o valor máximo permitido é 200.
- página: O token de página que representa a página na qual os resultados serão recuperados. Isso geralmente é recuperado de uma chamada de lista anterior.
Consulte Documentação da CLI: list-upload-files.
Pré-requisitos: Antes de começar a fazer upload dos dados de log sob demanda, certifique-se de coletar as seguintes informações:
- Nome da origem de log de uma nova origem de log ou use uma origem de log definida pela Oracle que corresponda ao seu formato de log. Consulte Origens definidas pela Oracle e Criar uma Origem.
Para executar o upload sob demanda, a origem deve ser do tipo Mensagens de Evento do Sistema (Syslog), Arquivo ou Oracle Diagnostic Logs (ODL).
- OCID do grupo de logs no qual você armazenará esses logs para fazer o controle de acesso do usuário aos logs. Consulte Criar Grupos de Logs para Armazenar seus Logs.
- OCID da entidade, se você quiser mapear os logs que estão sendo submetidos a upload. Consulte Criar uma Entidade para Representar Seu Recurso de Emissão de Log.
Permissão Exigida para Upload sob Demanda
Tópicos:
- Permitir que os Usuários Executem Operações de Criação, Obtenção e Lista de Upload sob Demanda
- Permitir que os Usuários Executem a Operação de Exclusão de Upload sob Demanda
Permitir que os Usuários Executem Operações de Criação, Obtenção e Lista de Upload sob Demanda
Você pode permitir que os usuários executem operações de upload sob demanda Criar, Obter e Listar fornecendo seletivamente apenas as permissões necessárias para executar essas tarefas de upload sob demanda, concedendo permissões de tipo de recurso individuais ou concedendo permissões de nível agregado mais amplas. Portanto, você pode selecionar qualquer um dos três conjuntos de instruções de política fornecidos abaixo, como adequado para seu caso de uso.
As seguintes instruções de política do serviço IAM destinam-se a fornecer permissões específicas ao grupo de usuários para operações create, get e list durante o upload sob demanda:
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
As seguintes instruções de política do serviço IAM destinam-se a fornecer permissões no nível de tipos de recursos individuais para usar upload sob demanda:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
Por outro lado, as seguintes instruções de política do IAM destinam-se a fornecer permissões no nível de recursos agregados do Oracle Logging Analytics para usar o upload sob demanda:
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment
group_name
em todas as instruções de política acima refere-se ao grupo de usuários que deve receber as permissões necessárias.
Permitir que os Usuários Executem a Operação de Exclusão de Upload sob Demanda
Você pode permitir que os usuários executem a operação Excluir de upload sob demanda, concedendo seletivamente apenas as permissões necessárias para executar a tarefa de exclusão de upload sob demanda, concedendo permissões de tipo de recurso individuais ou concedendo permissões de nível agregado mais amplas. Portanto, você pode selecionar qualquer um dos três conjuntos de instruções de política fornecidos abaixo, como adequado para seu caso de uso.
As seguintes instruções de política do serviço IAM são especificamente para fornecer a permissão ao grupo de usuários para a operação de exclusão:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy
As seguintes instruções de políticas do serviço IAM destinam-se a fornecer permissões no nível de tipos de recursos individuais para a operação de exclusão de upload sob demanda:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy
As seguintes instruções de políticas do serviço IAM destinam-se a fornecer permissões no nível de recursos agregados do Oracle Logging Analytics para operação de exclusão de upload sob demanda:
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy
group_name
em todas as instruções de política acima refere-se ao grupo de usuários que deve receber as permissões necessárias.
Upload sob Demanda Usando a Console
Você pode fazer upload dos seus arquivos de log usando o assistente de Upload sob Demanda (ODU) que está disponível na console de serviço do Oracle Logging Analytics.
Upload sob Demanda Usando a CLI
Você pode usar a CLI do OCI para fazer upload dos seus arquivos de log para o Oracle Logging Analytics por meio de uma interface de linha de comando. Essa interface simples permite que você automatize seus uploads integrando a CLI ao seu aplicativo.
Para obter informações sobre como usar a CLI, consulte Interface de Linha de Comando (CLI).
Para obter uma lista completa de flags e opções disponíveis para comandos da CLI, consulte Referência da Linha de Comando: Logging Analytics - Fazer Upload.
Execute os seguintes comandos da CLI para gerenciar loganalytics-ondemand-upload:
-
Fazer Upload do Arquivo de Log:
oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>
Resposta de amostra do comando acima:
{ "data": { "name": null, “reference” : “32817130200562135", “timeCreated” : “2020-06-01T12:00:00.000Z”, "time-earliest-log-entry": null, "time-latest-log-entry": null, "time-updated": null, "warnings-count": null } }
-
Excluir Upload:
oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Listar Uploads:
oci log-analytics upload list --namespace-name <namespace_name>
-
Obter Upload:
oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Listar Arquivos de Upload:
oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Excluir Arquivo de Upload:
oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>
Verificar um Upload sob Demanda Usando a Console
Ao concluir um upload sob demanda dos dados de log, você pode exibir o resumo dos uploads e verificar o status do arquivo.
- Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Logging Analytics, clique em Administração. A página Visão Geral da Administração é aberta.
- No painel esquerdo, em Recursos, clique em Uploads. Isso exibe os uploads sob demanda mais recentes.
- Para exibir os dados processados do upload, clique no ícone de menu
correspondente ao upload > selecione Exibir no Log Explorer.
- Para exibir a lista de arquivos no upload com seus status de processamento, clique no nome do upload.
Excluir Arquivos de Log Submetidos a Upload Usando a Console
Ao concluir um upload sob demanda dos dados de log, você pode exibir o resumo dos uploads e verificar o status do arquivo. Se, no caso de notar que o upload do arquivo falhou ou você não quiser mais manter os arquivos desse upload, poderá excluí-los.
Adicionar Mais Metadados ao Upload
Crie um arquivo json de metadados e nomeie-o como uploads_metadata.json
. Veja o seguinte exemplo de arquivo de metadados:
{
"field1":"value1",
"field2":"value2"
}
No arquivo acima, field1 e field2 são campos definidos pelo usuário ou pela Oracle. Consulte Criar um Campo. Todos esses campos, com os valores fornecidos, serão adicionados a cada registro de log analisado.
Crie um arquivo zip contendo os dados de log reais em um dos formatos de arquivo suportados e o arquivo uploads_metadata.json
. O arquivo uploads_metadata.json
deve estar localizado na hierarquia superior do zip.