Migrando o Amazon Redshift para o Autonomous Database

Baixe o driver JDBC do Amazon Redshift e adicione o driver de terceiros

1. Faça download de um driver JDBC do Amazon Redshift para acessar o Amazon Redshift. Consulte a documentação do Amazon Redshift para saber a localização do driver JDBC mais recente. Para obter mais informações, consulte Configurar uma Conexão JDBC.

   Observação
   
   Use o driver JDBC 4.2 do Amazon Redshift JDBC Driver compatível.

2. Armazene o driver JDBC do Amazon Redshift em um diretório local onde o SQL Developer possa acessar o driver JDBC do Amazon Redshift.

3. Adicione o driver JDBC do Amazon Redshift como terceiro ao SQL Developer antes de estabelecer uma conexão. No SQL Developer, vá para Ferramentas > Preferências > Banco de Dados > Drivers JDBC de Terceiros (para Mac, esse é o Oracle SQL Developer > Banco de Dados de Preferências > Drivers JDBC de Terceiros).

4. Clique em Adicionar Entrada e selecione o caminho para o Driver JDBC do Amazon Redshift que você faz download.

   
   
   Descrição da ilustração dwcs_aws_migration_jdbc_add1.png
   

5. Clique em OK para adicionar o driver JDBC do Amazon Redshift baixado.

Adicionar Conexão ao Banco de Dados Amazon Redshift

Conecte-se ao banco de dados do Amazon Redshift.

1. No painel Conexões, clique com o botão direito do mouse em Conexões e selecione Novo Connection....

2. Selecione a guia Amazon Redshift e insira as informações de conexão do Amazon Redshift.

   Se você estiver planejando migrar vários esquemas, é recomendável se conectar com o nome de usuário Mestre ao seu sistema Amazon Redshift.

   
   
   Descrição da ilustração adw_migrate_aws_connect1.png
   

• Para obter mais detalhes sobre como configurar uma Conexão JDBC e obter o URL JDBC do Amazon Redshift, consulte AWS: Configurar uma Conexão JDBC.

• Para obter mais detalhes sobre como configurar opções de segurança para a conexão (no caso de "erro de conexão da Amazon [500150]"), consulte AWS: Configurar Opções de segurança para Conexão (no caso de "erro de conexão da Amazon [500150]").

• Se você implantou seu ambiente do Amazon Redshift em uma Nuvem Privada Virtual (VPC), deverá garantir que seu cluster esteja acessível pela Internet. Consulte http://docs.aws.amazon.com/redshift/latest/gsg/rs-gsg-authorize-cluster-access.html para obter detalhes sobre como ativar o acesso público à Internet.

• Se a conexão do cliente do Amazon Redshift com o banco de dados parecer travar ou expirar ao executar consultas longas, consulte http://docs.aws.amazon.com/redshift/latest/mgmt/connecting-firewall-guidance.html para obter possíveis soluções para resolver esse problema.

Teste a conexão antes de salvá-la.

Informações adicionais para autenticação e controle de acesso da Amazon

• AWS: Segurança

• AWS: Gerenciando Grupos de Segurança de Cluster Usando a Console

O assistente de Migração para a Nuvem começa quando você clica em Migrações para a Nuvem em Migração no menu Ferramentas. O assistente do Cloud Migrations permite migrar esquemas, objetos (tabelas) e dados de um banco de dados Amazon Redshift para o Autonomous Database.

Descrição da ilustração adw_migrate_redshift_start.png

O Assistente de Migração para a Nuvem é um conjunto fácil de etapas. O Assistente de Migração para a Nuvem orienta você para:

• Identifique os esquemas no banco de dados do Amazon Redshift que você deseja migrar.

• Identifique o Autonomous Database de destino.

• Defina se deseja migrar os metadados (DDL), os dados ou ambos.

• Escolha migrar seu sistema on-line, gerar scripts ou ambos.

Identificar o Banco de Dados do Amazon Redshift

Identifique os esquemas no banco de dados do Amazon Redshift para migração. Todos os objetos, principalmente tabelas, no esquema serão migrados. A migração para o Autonomous Database é feita por esquema. Não é possível renomear os esquemas como parte da migração.

1. Na Migração do AWS Redshift, especifique a Conexão.

   
   
   Descrição da ilustração adw_migrate_redshift_step1of3.png
   

• Conexão: Nome da conexão do banco de dados Redshift.

• Esquemas Disponíveis: Esquemas disponíveis para a conexão específica.

• Esquemas Selecionados: Clique no ícone Adicionar para selecionar os esquemas que você deseja migrar de Esquemas Disponíveis.

• Incluir Dados: DDL e DATA migram os esquemas e dados selecionados.

Ao migrar dados, você precisa fornecer a chave de acesso da AWS, a Chave de Acesso Secreto da AWS e um URI do bucket S3 existente no qual os dados do Redshift serão descarregados e preparados. As credenciais de segurança exigem determinados privilégios para armazenar dados em S3. É recomendável criar novas chaves de acesso separadas para a migração. A mesma chave de acesso é usada posteriormente para carregar os dados no Autonomous Database usando solicitações REST seguras.

• Chave de Acesso do AWS: Para obter mais informações sobre chaves de acesso, consulte AWS Identity and Access Management.

• Acesso Secreto à AWS: Para obter mais informações sobre chaves de acesso, consulte AWS Identity and Access Management.

• URI do Bucket S3: Para obter informações sobre erros comuns S3 ServiceException, consulte S3ServiceException Errors.

  Para obter mais informações sobre um bucket S3, consulte Criando e Configurando um Bucket S3.

Formato de URI do Bucket do Amazon S3

Para os arquivos de origem que residem no Amazon S3, consulte o seguinte para obter uma descrição do formato de URI para acessar seus arquivos: Acessando um Bucket Por exemplo, o seguinte se refere à pasta de arquivos 'folder_name' no bucket adwc na região us-west-2.

https://s3-us-west-2.amazonaws.com/adwc/folder_name

S3 Exemplo de Configuração do Bucket 1

Se você fornecer o seguinte URI do Bucket S3:

https://s3-us-west-2.amazonaws.com/my_bucket

O assistente verifica todo o caminho, incluindo my_bucket. É feita uma tentativa de gravar um arquivo de teste, se ele não estiver acessível, há um prompt. No caso de my_bucket não existir, há um erro reportado:

Validation Failed

Em seguida, a geração do código cria o seguinte caminho para a função DBMS_CLOUD.COPY_DATA:

file_uri_list => "https://s3-us-west-2.amazonaws.com/my_bucket/oracle_schema_name/oracle_table_name/*.gz"

O assistente de migração cria estas pastas: oracle_schema_name/oracle_table_name dentro do bucket: my_bucket.

S3 Exemplo de Bucket 2

Se você fornecer o seguinte URI do Bucket S3:

https://s3-us-west-2.amazonaws.com/my_bucket/another_folder

O assistente verifica todo o caminho, incluindo my_bucket. É feita uma tentativa de gravar um arquivo de teste, se ele não estiver acessível, há um prompt. No caso de my_bucket não existir, há um erro reportado:

Validation Failed

Nesse caso, o another_folder não precisa existir. A migração cria o bucket another_folder no my_bucket.

Em seguida, a geração do código cria o seguinte caminho para a função DBMS_CLOUD.COPY_DATA:

file_uri_list => ‘https://s3-us-west-2.amazonaws.com/my_bucket/another_folder/oracle_schema_name/oracle_table_name/*.gz

Etapa 2 de 3: Autonomous Data Warehouse Cloud

Primeiro crie uma conexão para o seu Autonomous Database de destino. Consulte Estabelecer Conexão com o Autonomous Database. O usuário desta conexão deve ter os privilégios administrativos; a conexão é usada em toda a migração para criar esquemas e objetos.

O Assistente de migração do Amazon Redshift permite que você faça uma migração on-line imediatamente, para gerar todos os scripts necessários para uma migração ou ambos. Se você optar por armazenar os scripts em um diretório local, deverá especificar o diretório local (o diretório deverá ser gravável pelo usuário).

Descrição da ilustração adw_migrate_redshift_step2of3.png

• Conexão: Nome da conexão do Autonomous Data Warehouse Cloud. Crie uma conexão para o Autonomous Database, se necessário. O usuário deve ter privilégios administrativos, pois essa conexão é usada em toda a migração para criar esquemas e objetos. 

• Senha do Repositório de Migração: Senha do repositório de migração que é instalado no Autonomous Database como parte da migração do esquema. Use a senha preenchida previamente ou digite uma nova senha.

• Remover repositório em uma migração bem-sucedida: Selecione essa opção para remover o repositório após a conclusão da migração. O repositório não é necessário após a migração.

• Migrar Agora: Selecione esta opção para executar uma migração on-line imediatamente.

  Observação
  
  

  • Se a opção Incluir Dados da Etapa 1 e Migrar Agora estiverem desmarcadas, você estará optando pela geração de todos os Scripts SQL necessários para migração manual.

  • Se a opção Incluir Dados da Etapa 1 estiver desmarcada e a opção Migrar Agora estiver selecionada, todos os esquemas selecionados e suas tabelas serão implantados no Autonomous Database, mas os dados não serão carregados nas tabelas.

  • Se a opção Incluir Dados da Etapa 1 e Migrar Agora estiverem selecionadas, todos os esquemas selecionados e suas tabelas serão implantados no Autonomous Database e os dados serão carregados nas tabelas.

• Diretório: Especifique o diretor para armazenar os scripts gerados necessários para a migração; isso salva os scripts em um diretório local.

Configurações avançadas (opcional)

As definições padrão devem funcionar, a menos que você queira controlar as opções de formato ao Descarregar para o armazenamento S3 ou Copiar do armazenamento S3 para o Autonomous Database. Para obter mais informações sobre Opções de Formato, consulte DBMS_CLOUD Opções de Formato de Pacote. Para usar opções avançadas, clique em Definições Avançadas.

Descrição da ilustração adw_migrate_redshift_prefs.png

Diretório de Saída: Informe o caminho ou clique em Selecionar Diretório para selecionar o diretório ou a pasta para a migração.

Número Máximo de Threads: Informe o número de threads paralelos a serem ativados ao carregar dados em tabelas no Autonomous Database.

Usar Scheduler: Selecione esta opção para ativar o scheduler para migração. Você pode programar jobs para operações de migração do carregamento de dados do bucket do AWS S3 para o Autonomous Database. Você tem a opção de executar os trabalhos agendados imediatamente ou em uma data e hora futuras. Para monitorar os jobs programados de carregamento de dados, use o nó Programador no navegador Conexões.

Opção de Execução da Migração:

• O Imediato executa o scheduler assim que a migração do Redshift é acionada.

• Uma Vez executa o scheduler em uma data futura. Especifique a Data Inicial e o Fuso Horário. Por padrão, a Data de início exibe a data e hora atuais do sistema local. Para alterar a data de início, use o ícone de calendário para clicar duas vezes e selecionar a data ou use o girador para realçar a data e, em seguida, clique no campo para defini-la.

Opções de Descarregamento do Redshift: Permitir Sobregravação: Se esta opção estiver ativada, o processo de descarregamento substituirá os arquivos existentes, incluindo o arquivo de manifesto (lista os arquivos de dados criados pelo processo de descarregamento). Por padrão, o descarregamento falhará se houver arquivos que possam ser substituídos.

Opções de formato ADWC: Limite de Rejeição: Informe o número de linhas a serem rejeitadas ao carregar dados em tabelas no Autonomous Database. A operação de migração apresentará um erro após o número especificado de linhas ter sido rejeitado. O padrão é 0.

Se você tiver escolhido uma migração imediata, a caixa de diálogo do assistente de migração permanecerá aberta até que a migração seja concluída. Se você selecionar gerar scripts, o processo de migração gerará os scripts necessários no diretório local especificado e não executará os scripts.

Para realizar a migração, clique em Concluir

Se o nome do esquema selecionado no AWS Redshift já existir no Autonomous Database, o processo de migração excluirá a implantação desses esquemas selecionados e exibirá uma caixa de diálogo:

Resumo: O que o Assistente de Migração Cria

• Cria um novo usuário do Autonomous Database usando o schema_name do Redshift.

• Cria um novo bucket no S3 com base no nome do esquema.

• Cria subpastas no S3 para cada tabela.

Descarregue seus dados do Amazon Redshift em S3

O primeiro passo de uma migração bem-sucedida é descarregar seus dados do Amazon Redshift para o Amazon S3, que atua como uma área de preparação. O script redshift_s3unload.sql tem todos os comandos de descarga do Amazon Redshift para descarregar os dados usando as credenciais de acesso e o bucket S3 especificados no workflow do Assistente de Migração.

Conecte-se ao seu ambiente do Amazon Redshift para executar esse script.

Criar Seus Objetos do Data Warehouse

Para preparar seu Autonomous Database, crie seu esquema de data warehouse vazio antes de carregar dados. O Assistente de Migração do Amazon Redshift converteu todas as estruturas de esquema do Amazon Redshift em estruturas Oracle no script adwc_ddl.sql.

O script deverá ser executado enquanto você estiver conectado ao seu Autonomous Database como usuário privilegiado; por exemplo, ADMIN.

Por padrão, o esquema criado para a migração tem o mesmo nome do esquema no Amazon Redshift. Você deve alterar a senha para a senha válida para o usuário especificado no script ou após a execução do script. Se quiser alterar o nome do esquema, altere o nome do esquema e todas as referências ao nome.

Carregue seus dados do Amazon Redshift no Oracle Autonomous Database

O script adwc_dataload.sql contém todos os comandos de carregamento necessários para carregar seus dados descarregados do Amazon Redshift diretamente do S3 para o seu Autonomous Database.

Execute o script enquanto estiver conectado ao seu Autonomous Database como um usuário privilegiado; por exemplo, ADMIN.

Se quiser alterar o nome do esquema de destino ao criar seus objetos do data warehouse, você deverá ajustar os nomes do esquema de destino neste script adequadamente.

Uso do JOB SCHEDULER

O SQL Developer fornece uma interface gráfica para usar o pacote PL/SQL DBMS_SCHEDULER para trabalhar com objetos do Oracle Scheduler. Para usar os recursos de programação do SQL Developer, consulte o tópico Schedule Jobs Using SQL Developer do SQL Developer User Guide e o Oracle Database Administrator's Guide para entender os conceitos e as tarefas essenciais para programação de jobs.

O nó Programador de uma conexão aparece no navegador Conexões e no navegador DBA. Use o usuário 'admin' do ADWC para navegar e exibir os objetos do Scheduler pertencentes ao status de monitoramento 'admin' dos jobs de carregamento de dados.

Em Conexão ADWC 'admin' → Scheduler → Jobs, você verá que os jobs de carregamento de dados do AWS Redshift para o ADWC são criados com o nome <schema_name>_<table_name>. 

Para ver o status de conclusão de cada carregamento de dados, expanda cada job programado e verifique o status.

Além disso, para obter informações mais detalhadas sobre a operação de carregamento de dados, consulte a tabela MD_REPORT no esquema SQLDEV_MIGREPOS que armazena informações sobre colunas de tabela: e

 OPERATION_ID, LOGFILE_TABLE, BADFILE_TABLE, SOURCE_SCHEMA_NAME, TARGET_SCHEMA_NAME, SOURCE_TABLE_NAME, 

e

 TARGET_TABLE_NAME, SOURCE_TABLE_ROWS, TARGET_TABLE_ROWS_LOADED, ERROR MESSAGE, 

e

STATUS (COMPLETED or FAILED)

Arquivos de Relatório e Log de Migração do Redshift

Após a Migração do Redshift, você encontrará três arquivos:

• MigrationResults.log : Arquivo de log da migração do Redshift

• readme.txt : arquivo explica como usar os scripts de migração do Amazon Redshift gerados.

• redshift_migration_reportxxx.txt : Contém informações sobre Migração. Veja a seguir uma amostra:

  ______________________________________________________________
  OPERATION ID : 8566
  LOGFILE TABLE : COPY$8566_LOG
  BADFILE TABLE : COPY$8566_BAD
  SOURCE SCHEMA : sample
  TARGET SCHEMA : SAMPLE
  SOURCE TABLE : listing
  TARGET TABLE : LISTING
  SOURCE TABLE ROWS : 192497
  TABLE ROWS LOADED : 192497
  ERROR MESSAGE : null
  STATUS : COMPLETED
  START TIME : 2018-09-27 17:25:18.662075
  END TIME : 2018-09-27 17:25:25.012695
  ______________________________________________________________