Link para Objetos no Armazenamento na Nuvem
Ao criar um link para arquivos em um bucket de armazenamento na nuvem do seu banco de dados Oracle Autonomous, você cria uma tabela externa que se vincula aos arquivos no armazenamento na nuvem.
Você pode criar um link para arquivos nestes formatos: AVRO, CSV, JSON, GeoJSON, Parquet, ORC e TXT Delimitado. Para obter informações sobre formatos de arquivo suportados, consulte Especificações de Formato para Arquivos JSON, AVRO e XML.
Configure e execute um job de link de dados na página Vincular Objeto na Nuvem. Para abrir essa página:
- Abra o inicializador do Database Actions, clique na guia Data Studio e selecione o menu Carga de Dados. Consulte A Página Carga de Dados.
- Selecione LINK DATA e CLOUD STORE.
No lado esquerdo da página, há um painel do navegador, no qual você escolhe uma conexão de armazenamento na nuvem e as pastas ou os arquivos que contêm os dados. À direita da página, está o carrinho de carga de dados, no qual você prepara os arquivos e as pastas para o job de link de dados. Você pode definir opções para o job de link de dados antes de executá-lo. O Autonomous Database vem com compartilhamentos predefinidos de CPU/ES designados a outros grupos de consumidores. Você pode definir o grupo de consumidores como baixo, médio ou alto ao executar um job de carga de dados, dependendo da sua carga de trabalho.
- Gerenciar Links de Armazenamento na Nuvem para Jobs de Link de Dados
Para poder criar um link para dados em um armazenamento na nuvem, estabeleça uma conexão com o armazenamento na nuvem que você deseja usar. - Preparar o Job de Link de Dados
- Adicionar arquivos ou pastas para o job de link de dados
- Informar Detalhes para o Job de Link de Dados
Informe os detalhes sobre o job de link de dados no painel Vincular Dados do Armazenamento na Nuvem. - Executar o Job de Link de Dados
Depois de adicionar origens de dados ao carrinho de link de dados e informar detalhes sobre o job de link de dados, você poderá executar o job. - Exibir detalhes sobre o job de link de dados após a execução
Você pode exibir o andamento do job no painel de controle de Carga de Dados. - Exibir a Tabela Resultante do Job de Link de Dados
Depois de executar um job de link de dados, você pode exibir a tabela criada pelo job de link de dados no painel de controle de Carga de Dados.
Tópico pai: Vinculando Dados
Gerenciar links de armazenamento na nuvem para jobs de link de dados
Para poder criar link para dados em um armazenamento na nuvem, estabeleça uma conexão com o armazenamento na nuvem que você deseja usar.
Na página Link Cloud Object:
-
Clique no ícone Gerenciar armazenamento na nuvem, além do campo em que você informa o local do armazenamento na nuvem. Selecione + Criar Local do Cloud Store.
-
Digite suas informações no painel Adicionar Localização do Cloud Store. Consulte para adicionar o local do armazenamento na nuvem.
Consulte Gerenciando Conexões.
Para retornar à página Vincular Objeto na Nuvem, clique em Carga de Dados nas trilhas de navegação da parte superior da página e navegue novamente até a página.
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Preparar o Job de Link de Dados
Talvez seja necessário ajustar os dados de origem ou a tabela de destino para que os dados de origem sejam vinculados corretamente à tabela de destino externa. Considere:
-
Se você estiver vinculando a vários arquivos, verifique se:
-
Todos os arquivos de origem são do mesmo tipo, por exemplo, CSV, JSON etc.
-
O número, a ordem e os tipos de dados das colunas em todos os arquivos de origem são correspondentes.
-
-
Se desejar particionar por data:
-
O arquivo de origem deve conter dados em que o tipo de dados seja data/hora.
-
Carregue uma pasta contendo duas ou mais origens de dados.
-
Os nomes dos arquivos na pasta devem indicar data(s), por exemplo,
MAR-1999.csv
ou2017-04-21.xlsx
.
-
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Adicionar arquivos ou pastas para o job de link de dados
Adicione arquivos do armazenamento na nuvem ao carrinho de link de dados, no qual você pode editar os detalhes do job de link de dados. Para adicionar os arquivos:
-
Na lista da parte superior do painel do navegador à esquerda, selecione o bucket com seus dados de origem.
A lista mostra os links que foram estabelecidos na página Gerenciar Armazenamento na Nuvem. Se você ainda não tiver registrado o armazenamento na nuvem que deseja usar, clique no botão Conexões no menu Carga de Dados no conjunto de ferramentas do Data Studio e registre uma conexão.
-
Arraste um ou mais itens do navegador de arquivos à esquerda e solte-os no carrinho à direita.
-
É possível adicionar arquivos e/ou pastas. Um cartão é adicionado ao carrinho para cada arquivo ou pasta arrastada para ele. O cartão lista o nome do arquivo ou da pasta de origem e um nome proposto para a tabela de destino.
-
Se você adicionar uma pasta que contenha vários arquivos, todos os arquivos deverão ser do mesmo tipo, ou seja, CSV, TXT etc.
Quando você adiciona a pasta ao carrinho, é exibido um prompt que pergunta se você deseja carregar todos os objetos dos vários arquivos de origem para uma única tabela de destino. Clique em Sim para continuar ou em No para cancelar.
-
Quando você adiciona vários arquivos individuais ou várias pastas ao carrinho, os dados representados por cada cartão são carregados em uma tabela separada, mas todos os itens do carrinho serão processados como parte do mesmo job de carga de dados.
-
Você pode adicionar arquivos ou pastas de um bucket diferente, mas se fizer isso, será solicitado a remover todos os arquivos que já estão no carrinho antes de continuar. Para selecionar arquivos de outro bucket, selecione o bucket na lista drop-down no painel do navegador à esquerda e adicione o(s) arquivo(s), conforme descrito acima.
-
Você pode soltar arquivos ou pastas no carrinho de carga de dados e, em seguida, sair da página Objeto de Link de Dados. Quando você retornar à página, esses itens permanecerão na página, mas você poderá receber a mensagem "Remover Todos os Itens de Link de Dados". A mudança para outro local de Armazenamento na Nuvem exige que todos os itens sejam removidos do job de carga de dados. Deseja continuar?" Clique em Sim para remover os itens do carrinho. Clique em Não para manter os itens no carrinho. Você então pode continuar trabalhando.
-
É possível remover itens do carrinho antes de executar o job de link de dados:
-
Para remover um item do carrinho, selecione Remover no cartão da barra de menu do carrinho Link de Dados do item na parte superior do painel.
-
Para remover todos os itens do carrinho, clique em Remover Tudo na barra de menus do carrinho de link de dados na parte superior do painel.
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Informar Detalhes para o Job de Link de Dados
Informe os detalhes sobre o job de link de dados no painel Vincular Dados do Armazenamento na Nuvem.
No cartão do carrinho do link de dados, clique em Definições para abrir o painel Dados do Link do Armazenamento na Nuvem para esse job. O painel contém:
Guia Definições: Seção Tabela
Defina detalhes sobre a tabela de destino na seção Tabela.
- Nome: O nome da tabela de destino.
-
Coluna de Partição:
Partições de Lista e partições baseadas em Data são os diferentes tipos de partição disponíveis em links de dados.
O particionamento de lista é obrigatório quando você deseja especificamente mapear linhas para partições com base em valores discretos.
Para partição de acordo com uma coluna específica, clique na lista drop-down Coluna da Partição e selecione a coluna que deseja usar para o particionamento.
Você terá N arquivos por valor de partição, todos particionados pela coluna de partição selecionada.
Observação
- Para arquivos vinculados (de tabelas externas), também há um requisito de que, para cada arquivo, a coluna de partição de lista possa conter apenas um único valor distinto em todas as linhas.
- Se um arquivo estiver particionado por lista, a chave de particionamento só poderá consistir em uma única coluna da tabela.
O particionamento baseado em data está disponível quando você vincula uma pasta que contém duas ou mais origens de dados que têm colunas que contêm dados de data ou de timestamp.
Para compartilhar de acordo com a data, clique na lista drop-down Coluna da Partição e selecione as colunas DATE ou TIMESTAMP que você deseja usar para o particionamento.
-
Tipo de Validação: A validação examina os arquivos de origem, informações opcionais de partição e linhas de relatório que não correspondem às opções de formato especificadas. Selecione Nenhum para nenhuma validação; selecione Amostra para executar a validação com base em uma amostra dos dados; ou selecione Completo para executar a validação com base em todos os dados.
- Usar Curinga: Essa caixa de seleção permite o uso de caracteres curinga na condição de pesquisa para recuperar um grupo específico de arquivos que corresponda aos critérios do filtro.
Você pode usar um caractere curinga, como um asterisco (*), que pesquisa, filtra e especifica grupos de arquivos que detectam e adicionam novos arquivos à tabela externa.
Por exemplo, se você digitar file*, file01, file02, file03 e assim por diante serão considerados correspondentes à palavra-chave. O asterisco (*) corresponde zero ou mais caracteres das possibilidades à palavra-chave.
Observação
O suporte a curingas é incompatível com o partição. A validação do arquivo de origem falhará se você usar curingas com dados particionados.
Guia Definições: Seção Propriedades
Especifique opções para controlar como os dados de origem são interpretados, visualizados e processados. Essas opções variam, dependendo do tipo de dados de origem.
-
Codificação: Selecione um tipo de codificação de caracteres na lista. Essa opção está disponível quando o arquivo vinculado está em formato simples (CSV, TSV ou TXT). O tipo de codificação padrão é UTF-8.
-
Divulgação de texto: Selecione o caractere para delimitar o texto: " ( caractere de aspas duplas), ' ( caractere de aspas simples) ou Nenhum. Essa opção só fica visível quando o arquivo selecionado está em formato de texto simples (CSV, TSV ou TXT).
-
Delimitador de campo: Selecione o caractere delimitador usado para separar colunas na origem. Por exemplo, se o arquivo de origem usar ponto-e-vírgula para delimitar as colunas, selecione Ponto-e-vírgula nessa lista. O padrão é Vírgula. Essa opção só fica visível quando o arquivo selecionado está em formato de texto simples (CSV, TSV ou TXT).
-
Iniciar processamento de dados na linha: Especifica o número de linhas a serem ignoradas ao vincular os dados de origem à tabela externa de destino:
-
Se você selecionar a opção Linha do cabeçalho da coluna em Nome da coluna de origem (veja a seguir) e digitar um número maior que 0 no campo Iniciar processamento de dados na linha, esse número de linhas após a primeira linha não será vinculado ao destino.
-
Se você desmarcar a opção Linha do cabeçalho da coluna em Nome da coluna de origem e informar um número maior que 0 no campo Iniciar processamento de dados na linha, esse número de linhas, incluindo a primeira linha, não será vinculado ao destino.
-
-
Nome da coluna de origem: Marque a caixa de seleção Linha do cabeçalho da coluna para usar os nomes de coluna da tabela de origem na tabela de destino.
-
Se você selecionar essa opção, a primeira linha do arquivo será processada como nomes de coluna. As linhas na seção Mapeamento, abaixo, são preenchidas com esses nomes (e com os tipos de dados existentes, a menos que você os altere).
-
Se você desmarcar essa opção, a primeira linha será processada como dados. Para especificar nomes de coluna manualmente, informe um nome para cada coluna de destino na seção Mapeamento. (Você também precisará informar tipos de dados).
-
-
Coluna numérica: Marque a caixa de seleção Converter dados inválidos em nulos para converter um valor de coluna numérica inválido em um valor nulo.
-
Novas linhas incluídas em valores de dados: Selecione essa opção se houver caracteres de nova linha ou retornar ao início da linha atual sem avançar para baixo nos campos de dados. Selecionar esta opção aumentará o tempo gasto para processar o carregamento. Se você não selecionar essa opção ao carregar os dados, as linhas com novas linhas nos campos serão rejeitadas. Você pode exibir a linha rejeitada no painel Relatório de Jobs.
Guia Definições - Seção Mapeamento
As definições na seção Mapeamento controlam como os dados dos arquivos de origem são vinculados às linhas da tabela externa de destino. Para cada linha, os dados da coluna listada em Coluna de origem serão vinculados à coluna listada em Coluna de destino.
-
Coluna de origem: Lista as colunas do arquivo de origem.
Se a opção Linha do cabeçalho da coluna em Propriedades estiver selecionada, a Coluna de origem mostrará os nomes das colunas no arquivo de origem. Se a opção Linha do cabeçalho da coluna não for selecionada, nomes genéricos como COLUMN_1, COLUMN_2 etc. serão usados. Esse campo é sempre somente para leitura.
Você pode exibir duas colunas de origem
FILE$NAME
eSYSTIMESTAMP
. A colunaFILE$NAME
permite localizar o arquivo de origem que contém um registro de dados específico. Por exemplo, você carrega um arquivo de origem que contém uma lista de arquivos. Os nomes de arquivo na lista de arquivos referem-se aos nomes de departamento na organização. Por exemplo, um arquivo finance.txt contém dados do departamento Financeiro. No mapeamento, você pode usar tipos de dados de string para extrair o nome do departamento da saída da coluna de nome do arquivo. Você pode usar o nome do departamento extraído para processar os dados de maneira diferente para cada departamento.A coluna
SYSTIMESTAMP
nos permite exibir o timestamp atual no banco de dados.Observação
- As colunas de origem
FILE$NAME
eSYSTIMESTAMP
não são incluídas por padrão. Marque a caixa de seleção Incluir e execute a carga da tabela de destino para exibir essas duas colunas. - Quando você está criando um livefeed, as colunas de origem
FILE$NAME
eSYSTIMESTAMP
aparecem na tabela Mapeamento por padrão.
- As colunas de origem
-
Coluna de destino: Lista as colunas na tabela de destino.
-
Se a opção Linha do cabeçalho da coluna for selecionada, a Coluna de destino usará os nomes das colunas no arquivo de origem. Você pode alterar o nome de uma coluna de destino substituindo o nome fornecido por um novo. Certifique-se de que a coluna de destino não esteja vazia. O nome da coluna de destino não deve ser uma duplicata de outra coluna de destino. O nome da coluna de destino não pode ter um nome duplicado como outra coluna de destino. O tamanho da coluna de destino não deve exceder 128 bytes. O limite de 128 bytes é um limite de banco de dados.
-
Se a opção Linha do cabeçalho da coluna não estiver selecionada, nomes genéricos como COLUMN_1, COLUMN_2 etc. serão usados. Você pode alterar o nome de uma coluna de destino substituindo o nome fornecido por um novo.
Observação
Se você estiver vinculando vários arquivos de uma pasta em um único job de link de dados, somente o primeiro arquivo será mostrado na seção Mapeamento. No entanto, desde que os nomes de coluna e os tipos de dados correspondam, os dados de todos os arquivos de origem sejam vinculados.
-
-
Tipo de Dados: Lista o tipo de dados a ser usado para dados nessa coluna. O conteúdo muda dependendo de se a opção Obter do cabeçalho do arquivo está selecionada.
-
Se a opção Linha do cabeçalho da coluna estiver selecionada, Tipo de dados mostrará os tipos de dados das colunas no arquivo de origem. Se quiser alterar o tipo de dados do destino, clique no nome e selecione outro na lista.
-
Se a opção Linha do cabeçalho da coluna não estiver selecionada, Tipo de dados mostrará todos os tipos de dados disponíveis. Selecione na lista o tipo de dados a ser usado para a coluna de destino.
-
-
Tamanho/Precisão (Opcional): Para colunas em que o Tipo de Dados é NUMBER, informe o tamanho/precisão dos números na coluna. A precisão é o número de dígitos significativos em um número. A precisão pode variar de 1 a 38.
Para colunas em que o Tipo de Dados é VARCHAR2, o valor Auto no campo Tamanho/Precisão ativa o recurso Dimensionamento Automático.
Com o recurso Dimensionar Automaticamente a Largura da coluna, você pode automaticamente dimensionar qualquer coluna para que se ajuste ao maior valor da coluna. Selecione Automático nos valores drop-down Tamanho/Precisão ou selecione um valor na lista drop-down.
-
Escala (Opcional): Para colunas em que o Tipo de Dados é NUMBER, informe a escala para os números na coluna. Escala é o número de dígitos à direita (positivo) ou à esquerda (negativo) do ponto decimal. A escala pode variar de -84 a 127.
-
Formato: Se o tipo de dados na coluna Tipo de dados for DATE ou um dos tipos TIMESTAMP, selecione um formato para esse tipo na lista drop-down Formato.
Guia Visualizar
O menu Visualização de Carga na guia Visualizar exibe os dados de origem em formato tabular. A exibição reflete as definições escolhidas na seção Properties. O menu Arquivo exibe dados de origem com os nomes de coluna.
Se você arrastou uma pasta contendo vários arquivos para o carrinho de link de dados e clicou em Definições para esse cartão, o painel Visualizar incluirá uma lista drop-down Visualizar Objeto (Arquivo) na parte superior do painel que lista todos os arquivos na pasta. Selecione o arquivo de origem que você deseja visualizar nessa lista.
Guia Tabela
A guia Tabela exibe a aparência esperada da tabela de destino após os dados foram vinculados.
Guia SQL
A guia SQL exibe os comandos SQL que serão executados para concluir esse job de link de dados.
Você pode ver o código SQL mesmo antes da criação da tabela.
Botão Fechar - Salvar e Fechar o Painel
Depois de informar todos os detalhes do job de link de dados, clique em Fechar na parte inferior da página. Isso salva os detalhes informados e retorna ao painel Vincular Dados do Armazenamento na Nuvem.
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Executar o Job de Link de Dados
Depois de adicionar origens de dados ao carrinho de link de dados e informar detalhes sobre o job de link de dados, você poderá executar o job.
Para executar o job:
- Se você ainda não tiver feito isso, clique no botão Fechar no painel Linkar Dados do Armazenamento na Nuvem para salvar suas definições e fechar o painel. Se alguma das configurações for inválida, uma mensagem de erro relatará o problema. Corrija o problema e clique em Fechar.
-
Clique em
Iniciar na barra de menus do carrinho de link de dados. Para interromper o job de link de dados, clique em
Parar.
Quando o job de link de dados é concluído, a página Painel de Controle de Carga de Dados exibe os resultados do job na seção Tabela e Exibir Cargas.
Depois que o job de link de dados for iniciado, você poderá exibir o andamento do job no painel Carregamento de Dados.
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Exibir Detalhes Sobre o Job de Link de Dados Após a Execução
Você pode exibir o andamento do job no painel Carregamento de Dados.
Quando o job de carga de dados é concluído, a página do painel Carga de Dados exibe os resultados do job. Na parte superior do cabeçalho da carga da tabela, você pode exibir o nome da tabela juntamente com o total de colunas presentes na tabela.
Clique em Relatório de Jobs para exibir o número total de linhas processadas com sucesso e a contagem de linhas rejeitadas. Você também pode visualizar a hora de início. O painel SQL do Relatório de Jobs exibe o código SQL equivalente do job.
Para exibir informações sobre um item no job, clique no ícone Ações na Carga da Tabela.
Para exibir um log da operação de carga, clique no ícone Registro em Log. Você pode salvá-lo, limpá-lo ou atualizá-lo. Clique em OK para ignorar o log.
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem
Exibir a Tabela Resultante do Job de Link de Dados
Depois de executar um job de link de dados, você pode exibir a tabela criada pelo job de link de dados no painel de controle Carga de Dados.
Fixar seu job de carga de dados. Após o job de carga de dados, você poderá ver erros que deseja corrigir ou, na inspeção, perceber que deseja nomear uma coluna de maneira diferente. Nesses casos, clique na opção Recarregar no Carregamento de Tabela selecionado para recarregar cartões do seu carrinho recente e editá-los como fez antes de sua primeira tentativa. O ícone Recarregar recarrega os dados de origem com as correções sugeridas pela ferramenta. Clique no ícone Ações no cabeçalho da Tabela, clique em Tabela e selecione Editar para fazer alterações no job de carga de dados (ou seja, alterar um nome de coluna).
Tópico principal: Linkando a Objetos no Armazenamento na Nuvem