Documentação do Oracle Cloud Infrastructure

Coleta do Oracle Object Storage

Coleta é um processo que extrai metadados técnicos dos seus ativos de dados para o seu catálogo de dados. Um Ativo de Dados representa uma origem de dados. Por exemplo: um banco de dados, um armazenamento de objetos, um armazenamento de arquivos ou de documentos, uma fila de mensagens ou um aplicativo.

Neste tutorial, você vai:

  1. Permita que o serviço Data Catalog acesse qualquer objeto no Oracle Object Storage, em qualquer bucket, de qualquer compartimento, na tenancy em que a política foi criada.
  2. Crie um ativo de dados do Oracle Object Storage.
  3. Adicionar uma conexão padrão para o ativo de dados.
  4. Coletar o ativo de dados executando o job de coleta imediatamente.
Importante

Você pode coletar arquivos do serviço Object Storage como entidades de dados lógicas.

Antes de Começar

Para executar este tutorial com sucesso, você deve ter o seguinte:

1. Criar uma Política de Acesso

Você cria uma política para permitir que o serviço Data Catalog acesse seus recursos do serviço Object Storage.

Você deverá ter, pelo menos, a permissão READ para todos os tipos de recursos individuais objectstorage-namespaces, buckets e objects ou, para o tipo de recurso agregado do Armazenamento de Objetos, object-family.

Para criar uma política de acesso para conceder permissão READ ao tipo de recurso agregado object-family do Object Storage, execute as seguintes etapas:

  1. Abra o menu de navegação e selecione Identidade e Segurança. Em Identidade, selecione Políticas.
  2. Na página Políticas, clique em Criar Política.
  3. No painel Criar Política, informe os seguintes detalhes:
    • Nome: Digite um nome exclusivo para a política. O nome deve ser exclusivo em todas as políticas em sua tenancy. Não é possível alterar o nome posteriormente. Por exemplo, data-catalog-dynamic-group.
    • Descrição: Informe uma descrição, como Conceder acesso a recursos de armazenamento de objetos em qualquer compartimento da tenancy.
    • Compartimento: Selecione um compartimento no qual você deseja criar a política.
    • Construtor de Políticas: Nesta seção, mova o controle deslizante para Mostrar editor manual e informe a regra de política. Por exemplo, para o grupo dinâmico data-catalog-dynamic-group, informe a seguinte regra de política:
      allow dynamic-group data-catalog-dynamic-group to read object-family in tenancy
      Observação

      Esta política permite o acesso a qualquer objeto, em qualquer bucket, em qualquer compartimento dentro do arrendamento em que a política é criada. Para obter mais exemplos, consulte exemplos de política.
  4. Clique em Criar.
Você criou com sucesso a política para permitir que o serviço Data Catalog acesse todos os recursos do Oracle Object Storage.

2. Criar um Ativo de Dados

Agora você está pronto para registrar as origens de dados do Oracle Object Storage no serviço Data Catalog como um ativo de dados .

Para criar um ativo de dados do Oracle Object Storage, execute as seguintes etapas:

  1. Abra o menu de navegação e selecione Análise e IA. Em Data Lake, selecione Data Catalog.
  2. Clique na instância do catálogo de dados na qual você deseja criar seu ativo de dados.
  3. Na Home page da instância do catálogo de dados, clique em Criar Ativo de Dados no mosaico Ações Rápidas.
    Observação

    Após criar uma instância do serviço Data Catalog, ao acessar a guia Home pela primeira vez, você obtém o botão Criar Ativo de Dados no mosaico Ativos de Dados.
  4. No painel Criar Ativo de Dados, informe os detalhes conforme descrito na tabela a seguir:
    Campo Descrição
    Nome

    Informe um nome para identificar exclusivamente o seu ativo de dados. Você pode editar o nome posteriormente.

    Você não pode usar os seguintes caracteres especiais no nome:

    & < > " ' / \ = ;

    Nome é um campo pesquisável no serviço Data Catalog.
    Descrição Especifique a necessidade ou a finalidade da criação desse ativo de dados.
    Tipo Selecione Oracle Object Storage.
    URL Informe o URI swift do recurso do Oracle Object Storage neste formato: https://swiftobjectstorage.<region-identifier>.oraclecloud.com

    Por exemplo:

    https://swiftobjectstorage.us-phoenix-1.oraclecloud.com/
    Namespace Informe o namespace de armazenamento de objetos para o recurso especificado do Oracle Cloud Infrastructure Object Storage.

    Para exibir sua string de namespace do serviço Object Storage na Console, no menu Perfil, clique em Tenancy:<your_tenancy_name>. O namespace está listado em Definições do Serviço Object Storage.
  5. Clique em Criar.
Você criou com sucesso um ativo de dados do Oracle Object Storage.

3. Adicionar uma Conexão

Depois de criar o ativo de dados do Oracle Object Storage, você cria uma conexão para o ativo de dados.

Para adicionar uma conexão para o ativo de dados do Oracle Object Storage, siga estas etapas:

  1. Na guia Home, clique em Ativos de Dados.
  2. Na lista Ativos de Dados, selecione o ativo de dados do Oracle Object Storage que você criou.
  3. Na guia Resumo da página de detalhes do ativo de dados, em Informações da Conexão, clique em Adicionar Conexão.
  4. No painel Adicionar Conexão, informe os detalhes conforme descrito na tabela a seguir:
    Campo Descrição
    Nome Informe um nome exclusivo para a sua conexão.
    Descrição Informe uma breve descrição de sua conexão.
    Tipo Selecione uma das seguintes opções:
    • Controlador de Recursos - O Controlador de Recursos é o tipo de conexão recomendada. Antes de criar uma conexão de Controlador de Recursos para o ativo de dados do Oracle Object Storage, crie uma política para permitir que o serviço Data Catalog acesse o recurso do serviço Object Storage.
    • Solicitação Pré-autenticada - Selecione este tipo de conexão para coletar um bucket de armazenamento de objeto público ou privado ao qual você tenha acesso por meio de uma solicitação pré-autenticada. Quando você selecionar esse tipo de conexão, o campo URL de Solicitação Pré-Autenticada será exibido. Informe o URL de solicitação pré-autenticada para acessar o bucket de armazenamento de objetos. Para obter mais informações sobre o uso desse tipo de conexão, consulte Usando Solicitações Pré-Autenticadas.
    Região do OCI Informe o identificador de região do seu recurso do serviço Object Storage.

    Para exibir o identificador de região para sua região na Console, no menu Perfil, clique em Tenancy: <your_tenancy_name>. No banner de informações Gerenciar regiões, clique em Gerenciar regiões. Os nomes e identificadores das regiões são listados.
    Compartimento Selecione o compartimento para o seu recurso do serviço Object Storage.

    Para ver o compartimento, na Console, abra o menu de navegação e clique em Identidade e Segurança. Em Identidade, clique em Compartimentos. Clique no link do compartimento do recurso do serviço Object Storage. Na página Detalhes do compartimento, copie o OCID na guia Informações do Compartimento.
    Tornar esta a conexão padrão para o ativo de dados. Marque esta caixa de seleção para tornar esta a conexão padrão para o ativo de dados.
    Testar Conexão Clique no botão para testar sua conexão.
  5. Clique em Adicionar.

4. Coletar o Ativo de Dados

Agora você está pronto para coletar seu ativo de dados do Oracle Object Storage.

Para coletar seu ativo de dados do Oracle Object Storage, execute as seguintes etapas:

  1. Na página de detalhes do ativo de dados, clique em Coletar.
    A página Selecionar Conexão é exibida com a conexão padrão selecionada.
  2. Clique em Próximo.
    A página Selecionar Entidades de Dados aparecerá.
  3. Na seção Bucket Disponível, adicione as entidades de dados que você deseja coletar. Para adicionar uma entidade de dados, clique no ícone de adição ao lado dela. Para coletar todas as entidades de dados, clique em Adicionar Tudo.
    As outras operações que você pode executar nesta página são as seguintes:
    • Para localizar uma entidade de dados entre as entidades de dados disponíveis, use a caixa Filtrar setor/entidades de dados.
    • Use os ícones de navegação da página para procurar todas as entidades de dados.
    • Para remover uma entidade de dados selecionada do job de coleta, clique no ícone de remoção ao lado da entidade de dados.
    • Para remover todas as entidades de dados selecionadas, clique em Remover Tudo.
  4. Clique em Próximo.
    A página Criar Job é exibida.
  5. Nesta página, faça o seguinte:
    1. Nome do Cargo: Informe um nome exclusivo para identificar o job de coleta.
    2. Descrição do Job: Informe uma descrição.
    3. Colheita Incremental: Marque esta caixa de seleção se quiser que as execuções subsequentes deste job de coleta coletem apenas as entidades de dados que foram alteradas na primeira execução do job de coleta.
    4. Incluir Arquivos Não Reconhecidos: Marque esta caixa de seleção para coletar uma entidade de dados lógica composta apenas de arquivos armazenados ou qualquer outro arquivo que não seja suportado no serviço Data Catalog. Por exemplo, .log, .txt, .sh, .jar e .pdf.
    5. Incluir somente arquivos correspondentes: Marque esta caixa de seleção se quiser que o serviço Data Catalog colete somente os arquivos que correspondem aos padrões de nome de arquivo designados. Quando você marca essa caixa de seleção, os arquivos que não correspondem aos padrões de nome de arquivo designados são ignorados durante a coleta. Eles são adicionados à contagem ignorada.
    6. Tempo de Execução: nesta seção, selecione uma das seguintes opções:
      • Executar job agora: Cria um job de coleta e o executa imediatamente.
      • Programar execução do job: Exibe mais campos para programar o job de coleta. Informe um nome e uma descrição para a programação. Especifique com que frequência você deseja que o job seja executado. As opções são de hora em hora, diariamente, semanalmente e mensalmente. Por fim, selecione o horário inicial e o horário final do job.
      • Salvar configurações de job para uso posterior: Cria um job para coletar o ativo de dados, mas o job não é executado. Você pode executar ou programar o job na página Jobs posteriormente.
  6. Clique em Criar Job.
    O job para coletar o ativo de dados do Oracle Object Storage foi criado com sucesso. O job é listado na página Jobs.
O ativo de dados é coletado com sucesso, dependendo da programação selecionada. Você pode revisar os detalhes do job de coleta clicando no nome do job na página Jobs.