Vinculando a Objetos no Armazenamento na Nuvem
Ao criar um link para arquivos em um bucket de armazenamento na nuvem com base no seu banco de dados Oracle Autonomous, você cria uma tabela externa que se vincula aos arquivos no armazenamento na nuvem.
Você pode vincular a arquivos nestes formatos de arquivo: AVRO, CSV, JSON, GeoJSON, Parquet, ORC, Delimited TXT. Para obter informações sobre formatos de arquivo suportados, consulte Especificações de Formato para Arquivos JSON, AVRO e XML.
Configure e execute um job de link de dados na página Vincular Objeto do Cloud. Para abrir a página:
- Abra o inicializador do Database Actions , clique na guia Data Studio e selecione o menu Data Load. Consulte Página Carga de Dados.
- Selecione LINK DATA e CLOUD STORE.
No lado esquerdo da página, há um painel do navegador, no qual você escolhe uma conexão de armazenamento na nuvem e as pastas ou arquivos que contêm os dados. À direita da página está o carrinho de carregamento de dados, no qual você prepara os arquivos e as pastas para o job de link de dados. Você pode definir opções para o job de link de dados antes de executá-lo. O Autonomous Database vem com compartilhamentos predefinidos de CPU/E/S designados a diferentes grupos de consumidores. Você pode definir o grupo de consumidores como baixo, médio ou alto ao executar um job de carregamento de dados, dependendo da sua carga de trabalho.
- Gerenciar Links de Armazenamento na Nuvem para Jobs de Link de Dados
Para poder vincular dados em um armazenamento na nuvem, você deve estabelecer uma conexão com o armazenamento na nuvem que deseja usar. - Preparar o Job do Link de Dados
- Adicionar Arquivos ou Pastas para o Job de Link de Dados
- Informar Detalhes do Job de Link de Dados
Informe os detalhes sobre o job de link de dados no painel Vincular Dados do Cloud Storage. - Executar o Job de Link de Dados
Depois de adicionar origens de dados ao carrinho de links de dados e informar detalhes sobre o job de link de dados, você poderá executar o job. - Exibir Detalhes Sobre o Job do Link de Dados Após a Execução
Você pode exibir o andamento do job no painel de controle Carregamento de Dados. - Exibir a Tabela Resultante do Job de Link de Dados
Depois de executar um job de link de dados, você pode exibir a tabela criada pelo job de link de dados no painel de controle Carregamento de Dados.
Tópico principal: Vinculando Dados
Gerenciar Links de Armazenamento na Nuvem para Jobs de Link de Dados
Para poder vincular a dados em um armazenamento na nuvem, você deve estabelecer uma conexão com o armazenamento na nuvem que deseja usar.
Na página Vincular Objeto do Cloud:
-
Clique no ícone Gerenciar armazenamento na nuvem, além do campo em que você informa o local do armazenamento na nuvem. Selecione + Criar Local da Loja na Nuvem.
-
Digite suas informações no painel Adicionar Local da Loja na Nuvem. Consulte para adicionar o local de armazenamento na nuvem.
Consulte Gerenciando Conexões.
Para retornar à página Objeto do Link Cloud, clique em Carregamento de Dados nas trilhas de navegação na parte superior da página e navegue de volta para a página.
Tópico principal: Vinculando a Objetos no Cloud Storage
Preparar o Job do Link de Dados
Talvez você precise ajustar os dados de origem ou a tabela de destino para que os dados de origem sejam vinculados corretamente à tabela de destino externa. Considere:
-
Se você estiver vinculando a vários arquivos, certifique-se de que:
-
Todos os arquivos de origem são do mesmo tipo, por exemplo, CSV, JSON etc.
-
O número, a ordem e os tipos de dados das colunas em todos os arquivos de origem correspondem.
-
-
Se você deseja particionar por data:
-
O arquivo de origem deve conter dados em que o tipo de dados seja data ou timestamp.
-
Carregue uma pasta que contenha duas ou mais origens de dados.
-
Os nomes dos arquivos na pasta devem indicar uma data ou datas, por exemplo,
MAR-1999.csv
ou2017-04-21.xlsx
.
-
Tópico principal: Vinculando a Objetos no Cloud Storage
Adicionar Arquivos ou Pastas para o Job do Link de Dados
Adicione arquivos do armazenamento em nuvem ao carrinho de link de dados, onde você pode editar os detalhes do job de link de dados. Para adicionar os arquivos:
-
Na lista na parte superior do painel do navegador à esquerda, selecione o bucket com os dados de origem.
A lista mostra os links que foram estabelecidos na página Gerenciar Armazenamento na Nuvem. Se você ainda não tiver registrado o armazenamento na nuvem que deseja usar, clique no botão Conexões no menu Carregamento de Dados no conjunto de ferramentas do Data Studio e registre uma conexão.
-
Arraste um ou mais itens do navegador de arquivos à esquerda e solte-os no carrinho à direita.
-
Você pode adicionar arquivos, pastas ou ambos. Um cartão é adicionado ao carrinho para cada arquivo ou pasta que você arrastar para ele. O cartão lista o nome do arquivo ou pasta de origem e um nome proposto para a tabela de destino.
-
Se você adicionar uma pasta que contenha vários arquivos, todos os arquivos deverão ser do mesmo tipo, ou seja, CSV, TXT etc.
Quando você adiciona a pasta ao carrinho, é exibido um prompt que pergunta se você deseja carregar todos os objetos dos vários arquivos de origem em uma única tabela de destino. Clique em Sim para continuar ou Não para cancelar.
-
Quando você adiciona vários arquivos individuais ou várias pastas ao carrinho, os dados representados por cada cartão serão carregados em uma tabela separada, mas todos os itens no carrinho serão processados como parte do mesmo trabalho de carregamento de dados.
-
Você pode adicionar arquivos ou pastas de um bucket diferente, mas se fizer isso, você será solicitado a remover todos os arquivos que já estão no carrinho antes de continuar. Para selecionar arquivos de outro bucket, selecione o bucket na lista drop-down no painel do navegador à esquerda e adicione o(s) arquivo(s), conforme descrito acima.
-
Você pode soltar arquivos ou pastas no carrinho de carregamento de dados e, em seguida, sair da página Objeto do Link de Dados. Quando você retornar à página, esses itens permanecerão na página, mas você poderá receber uma mensagem: "Remover Todos os Itens do Link de Dados". A alteração para outro local de armazenamento na Nuvem requer que todos os itens sejam removidos do job do carregamento de dados. Deseja continuar?" Clique em Sim para remover os itens do carrinho. Clique em Não para manter os itens no carrinho. Então você pode continuar trabalhando.
-
Você pode remover itens do carrinho antes de executar o job de link de dados:
-
Para remover um item do carrinho, selecione Remover no cartão da barra de menus do carrinho do Link de Dados do item na parte superior do painel.
-
Para remover todos os itens do carrinho de compras, clique em Remover Tudo na barra de menus do carrinho de compras do link de dados na parte superior do painel.
Tópico principal: Vinculando a Objetos no Cloud Storage
Informar Detalhes para o Job do Link de Dados
Informe os detalhes sobre o job de link de dados no painel Vincular Dados do Cloud Storage.
No cartão do carrinho de compras de links de dados, clique em Definições para abrir o painel Vincular Dados do Cloud Storage desse job. O painel contém:
Guia Configurações - Seção Tabela
Defina detalhes sobre a tabela de destino na seção Tabela.
- Nome: O nome da tabela de destino.
-
Coluna de Partição:
Partições de Lista e partições baseadas em Data são os diferentes tipos de partições disponíveis na vinculação de dados.
O particionamento de lista é necessário quando você deseja mapear linhas especificamente para partições com base em valores discretos.
Para particionar de acordo com uma coluna específica, clique na lista drop-down Coluna da Partição e selecione a coluna que deseja usar para o particionamento.
Você terá N arquivos por valor de partição, todos particionados pela coluna de partição selecionada.
Observação
- Para arquivos vinculados (de tabelas externas), há também um requisito de que, para cada arquivo, a coluna de particionamento da lista possa conter apenas um único valor distinto em todas as linhas.
- Se um arquivo for particionado em lista, a chave de particionamento só poderá consistir em uma única coluna da tabela.
O particionamento baseado em data está disponível quando você vincula uma pasta que contém duas ou mais origens de dados que têm colunas que contêm dados de data ou timestamp.
Para particionar de acordo com a data, clique na lista drop-down Coluna da Partição e selecione a coluna DATE ou TIMESTAMP que deseja usar para o particionamento.
-
Tipo de Validação: A validação examina os arquivos de origem, as informações de particionamento opcionais e as linhas do relatório que não correspondem às opções de formato especificadas. Selecione Nenhum para nenhuma validação; selecione Amostra para executar a validação com base em uma amostra dos dados; ou selecione Completo para executar a validação com base em todos os dados.
- Usar Curinga: Esta caixa de seleção permite o uso de caracteres curinga na condição de pesquisa para recuperar um grupo específico de arquivos que corresponde aos critérios do filtro.
Você pode usar um caractere curinga, como um asterisco (*), que pesquisa, filtra e especifica grupos de arquivos que detectam e adicionam novos arquivos à tabela externa.
Por exemplo, se você informar file*, file01, file02, file03 etc. serão considerados correspondentes à palavra-chave. O asterisco (*) corresponde a zero ou mais caracteres das possibilidades, à palavra-chave.
Observação
O suporte a curingas é incompatível com o particionamento. A validação do arquivo de origem falhará se você usar curingas com dados particionados.
Guia Configurações - Seção Propriedades
Especifique opções para controlar como os dados de origem são interpretados, visualizados e processados. Essas opções variam, dependendo do tipo de dados de origem.
-
Codificação: Selecione um tipo de codificação de caracteres na lista. Esta opção está disponível quando o arquivo vinculado está em formato de texto sem formatação (CSV, TSV ou TXT). O tipo de codificação padrão é UTF-8.
-
Anexo de texto: Selecione o caractere para o texto de fechamento: " (caractere de aspas duplas), ' (caractere de aspas simples) ou Nenhum. Essa opção só é visível quando o arquivo selecionado está em formato de texto sem formatação (CSV, TSV ou TXT).
-
Delimitador de campo: Selecione o caractere delimitador usado para separar colunas na origem. Por exemplo, se o arquivo de origem usar ponto e vírgula para delimitar as colunas, selecione Ponto e vírgula nesta lista. O padrão é Vírgula. Essa opção só é visível quando o arquivo selecionado está em formato de texto sem formatação (CSV, TSV ou TXT).
-
Iniciar o processamento de dados na linha: Especifica o número de linhas a serem ignoradas ao vincular os dados de origem à tabela externa de destino:
-
Se você selecionar a opção Linha do cabeçalho da coluna em Nome da coluna de origem (consulte abaixo) e se você informar um número maior que 0 no campo Iniciar processamento de dados na linha, esse número de linhas após a primeira linha não será vinculado ao destino.
-
Se você desmarcar a opção Linha do cabeçalho da coluna em Nome da coluna de origem e se você informar um número maior que 0 no campo Iniciar processamento de dados na linha, esse número de linhas, incluindo a primeira linha, não será vinculado ao destino.
-
-
Nome da coluna de origem: Marque a caixa de seleção Linha do cabeçalho da coluna para usar os nomes das colunas que formam a tabela de origem na tabela de destino.
-
Se você selecionar essa opção, a primeira linha do arquivo será processada como nomes de coluna. As linhas na seção Mapeamento, abaixo, são preenchidas com esses nomes (e com os tipos de dados existentes, a menos que você os altere).
-
Se você desmarcar essa opção, a primeira linha será processada como dados. Para especificar nomes de coluna manualmente, informe um nome para cada coluna de destino na seção Mapeamento. (Também será necessário inserir tipos de dados.)
-
-
Coluna numérica: Marque a caixa de seleção Converter dados inválidos em nulos para converter um valor de coluna numérica inválido em um valor nulo.
-
Newlines incluídas nos valores de dados: Selecione essa opção se houver caracteres de nova linha ou retornar ao início da linha atual sem avançar para baixo nos campos de dados. Selecionar esta opção aumentará o tempo necessário para processar o carregamento. Se você não selecionar essa opção ao carregar os dados, as linhas com novas linhas nos campos serão rejeitadas. Você pode visualizar a linha rejeitada no painel Relatório de Cargo.
Guia Configurações - Seção Mapeamento
As definições na seção Mapeamento controlam como os dados dos arquivos de origem são vinculados às linhas da tabela externa de destino. Para cada linha, os dados da coluna listada em Coluna de origem serão vinculados à coluna listada em Coluna de destino.
-
Coluna de origem: Lista as colunas do arquivo de origem.
Se a opção Linha do cabeçalho da coluna em Propriedades for selecionada, a Coluna de origem mostrará os nomes das colunas no arquivo de origem. Se a opção Linha do cabeçalho da coluna não estiver selecionada, serão usados nomes genéricos como COLUMN_1, COLUMN_2 etc. Este campo é sempre somente leitura.
Você pode exibir duas colunas de origem
FILE$NAME
eSYSTIMESTAMP
. A colunaFILE$NAME
permite localizar o arquivo de origem que contém um registro de dados específico. Por exemplo, você carrega um arquivo de origem que contém uma lista de arquivos. Os nomes de arquivo na lista de arquivos se referem aos nomes de departamento na organização. Por exemplo, um arquivo finance.txt contém dados do departamento Financeiro. No mapeamento, você pode usar tipos de dados de string para extrair o nome do departamento da saída da coluna de nome de arquivo. Você pode usar o nome do departamento extraído para processar dados de forma diferente para cada departamento.A coluna
SYSTIMESTAMP
nos permite exibir o timestamp atual no banco de dados.Observação
- As colunas de origem
FILE$NAME
eSYSTIMESTAMP
não são incluídas por padrão. Você deve marcar a caixa de seleção Incluir e executar a carga da tabela de destino para exibir essas duas colunas. - Quando você está criando um livefeed, as colunas de origem
FILE$NAME
eSYSTIMESTAMP
aparecem na tabela Mapeamento por padrão.
- As colunas de origem
-
Coluna de destino: Lista as colunas na tabela de destino.
-
Se a opção Linha do cabeçalho da coluna estiver selecionada, a coluna de destino usará os nomes das colunas no arquivo de origem. Você pode alterar o nome de uma coluna de destino substituindo o nome fornecido por um novo. Certifique-se de que a coluna de destino não esteja vazia. O nome da coluna de destino não deve ser uma duplicata de outra coluna de destino. O nome da coluna de destino não pode ter um nome duplicado como outra coluna de destino. O tamanho da coluna de destino não deve exceder 128 bytes. O limite de 128 bytes é um limite de banco de dados.
-
Se a opção Linha do cabeçalho da coluna não estiver selecionada, nomes genéricos como COLUMN_1, COLUMN_2 etc. serão usados. Você pode alterar o nome de uma coluna de destino substituindo o nome fornecido por um novo.
Observação
Se você estiver vinculando vários arquivos de uma pasta em um único job de link de dados, somente o primeiro arquivo será mostrado na seção Mapeamento. No entanto, enquanto os nomes de coluna e os tipos de dados corresponderem, os dados de todos os arquivos de origem serão vinculados.
-
-
Tipo de Dados: Lista o tipo de dados a ser usado para dados nessa coluna. O conteúdo muda dependendo da opção Obter do cabeçalho do arquivo estar selecionada.
-
Se a opção Linha do cabeçalho da coluna estiver selecionada, o Tipo de dados mostrará os tipos de dados das colunas no arquivo de origem. Se quiser alterar o tipo de dados do destino, clique no nome e selecione um diferente na lista.
-
Se a opção Linha do cabeçalho da coluna não estiver selecionada, o Tipo de dados mostrará todos os tipos de dados disponíveis. Selecione na lista o tipo de dados a ser usado para a coluna de destino.
-
-
Tamanho/Precisão (Opcional): Para colunas em que o Tipo de Dados é NÚMERO, informe o tamanho/precisão para os números na coluna. A precisão é o número de dígitos significativos em um número. A Precisão pode variar de 1 a 38.
Para colunas em que Tipo de Dados é VARCHAR2, o valor Automático no campo Tamanho/Precisão ativa o recurso Tamanho Automático.
Com a funcionalidade Largura da coluna de Dimensionamento Automático, você pode dimensionar automaticamente qualquer coluna para se ajustar ao maior valor da coluna. Selecione Automático nos valores drop-down Tamanho/Precisão ou selecione um valor na lista drop-down.
-
Dimensionar (Opcional): Para colunas em que o Tipo de Dados é NÚMERO, informe a escala dos números na coluna. A escala é o número de dígitos à direita (positivo) ou à esquerda (negativo) da casa decimal. A balança pode variar de -84 a 127.
-
Formato: Se o tipo de dados na coluna Tipo de dados for DATE ou um dos tipos TIMESTAMP, selecione um formato para esse tipo na lista drop-down Formato.
Guia Visualizar
O menu Visualizar Carga na guia Visualizar exibe os dados de origem em formato tabular. A exibição reflete as definições escolhidas na seção Propriedades. O menu Arquivo exibe dados de origem com os nomes de coluna.
Se você arrastou uma pasta que contém vários arquivos para o carrinho de links de dados e clicou em Definições para esse cartão, o painel Visualizar incluirá uma lista drop-down Visualizar Objeto (Arquivo) na parte superior do painel que lista todos os arquivos da pasta. Selecione o arquivo de origem que deseja visualizar nessa lista.
Guia Tabela
A guia Tabela exibe como se espera que a tabela de destino se pareça após os dados terem sido vinculados.
Guia SQL
A guia SQL exibe os comandos SQL que serão executados para concluir este job de link de dados.
Você pode ver o código SQL mesmo antes de a tabela ser criada.
Botão Fechar - Salvar e Fechar o Painel
Depois de informar todos os detalhes do job de link de dados, clique em Fechar na parte inferior da página. Isso salva os detalhes que você inseriu e retorna ao painel Vincular Dados do Cloud Storage.
Tópico principal: Vinculando a Objetos no Cloud Storage
Executar o Job de Link de Dados
Depois de adicionar origens de dados ao carrinho de links de dados e inserir detalhes sobre o job de links de dados, você poderá executar o job.
Para executar a tarefa:
- Se você ainda não tiver feito isso, clique no botão Fechar no painel Vincular Dados do Cloud Storage para salvar suas definições e fechar o painel. Se qualquer uma das configurações for inválida, uma mensagem de erro informará o problema. Corrija o problema e clique em Fechar.
-
Clique em
Iniciar na barra de menus do carrinho de compras de link de dados. Para interromper o job de link de dados, clique em
Interromper.
Quando o job do link de dados é concluído, a página Painel de Controle do Carregamento de Dados exibe os resultados do job na seção Tabela e Exibir Cargas.
Assim que o job do link de dados for iniciado, você poderá exibir o andamento do job no painel Carregamento de Dados.
Tópico principal: Vinculando a Objetos no Cloud Storage
Exibir Detalhes Sobre o Job do Link de Dados Após a Execução
Você pode exibir o andamento do job no painel Carregamento de Dados.
Quando o job de carregamento de dados é concluído, o painel Carregamento de Dados exibe os resultados do job. Na parte superior do cabeçalho do carregamento da tabela, você pode exibir o nome da tabela junto com o total de colunas presentes na tabela.
Clique em Relatório de Jobs para exibir o número total de linhas processadas com sucesso e a contagem de linhas rejeitadas. Você também pode visualizar o horário de início. O painel SQL do Relatório de Jobs exibe o código SQL equivalente do job.
Para exibir informações sobre um item no job, clique no ícone Ações no Carregamento de Tabela.
Para exibir um log da operação de carregamento, clique no ícone Registro em Log. Você pode salvar o log, limpá-lo ou atualizá-lo. Clique em OK para descartar o log.
Tópico principal: Vinculando a Objetos no Cloud Storage
Exibir a Tabela Resultante do Job de Link de Dados
Depois de executar um job de link de dados, você pode exibir a tabela criada pelo job de link de dados no painel Carregamento de Dados.
Corrija seu job de carregamento de dados. Após o job de carregamento de dados, você poderá ver erros que deseja corrigir ou, após a inspeção, perceber que deseja nomear uma coluna de forma diferente. Nesses casos, clique na opção Recarregar no Carregamento de Tabela selecionado para recarregar cartões do seu carrinho recente e editá-los como fez antes da primeira tentativa. O ícone Recarregar recarrega os dados de origem com as correções sugeridas pela ferramenta. Clique no ícone Ações no cabeçalho da Tabela, clique em Tabela e selecione Editar para fazer qualquer alteração no job de carregamento de dados (ou seja, alterar o nome de uma coluna).
Tópico principal: Vinculando a Objetos no Cloud Storage