Replicar dados do Autonomous Transaction Processing para o Apache Iceberg

Antes de começar

Para concluir com sucesso essa inicialização rápida, você deve ter:

Um Autonomous Transaction Processing de origem
Um ambiente de destino do Apache Iceberg:
- O OCI GoldenGate suporta Azure Data Lake Storage, Amazon S3 e Google Cloud Storage como serviços de armazenamento para tabelas do Apache Iceberg.
- O OCI GoldenGate suporta catálogos Hadoop, Nessie, AWS Glue, Polaris, REST e JDBC para o Apache Iceberg.

Configuração do ambiente: Autonomous Transaction Processing

Se você ainda não tiver um banco de dados de origem configurado para replicação, poderá seguir estas etapas para carregar um esquema de amostra a ser usado para esse início rápido. Esse início rápido usa Autonomous Transaction Processing para o banco de dados de origem.

Para configurar o Autonomous Database de origem:

Faça download e descompacte o esquema de banco de dados de amostra.
Na console do Oracle Cloud, selecione sua instância do ATP (Autonomous Transaction Processing) na página Autonomous Databases para exibir seus detalhes e acessar as Ações do Banco de Dados.
Desbloqueie o usuário GGADMIN:
1. Clique em Database actions e, em seguida, clique em Database Users.
2. Localize o GGADMIN e clique no menu reticências (três pontos) e selecione Editar.
3. No painel Editar Usuário, informe a senha GGADMIN, confirme a senha e, em seguida, desmarque Conta Bloqueada.
4. Clique em Aplicar Alterações.
Carregue o esquema e os dados de amostra de origem:
1. No menu de ações do Banco de Dados, em Desenvolvimento, selecione SQL.
2. Copie e cole o script de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql na planilha de SQL.
3. Clique emExecutar Script. A guia Saída do Script exibe mensagens de confirmação.
4. Limpe a planilha SQL e copie e cole o script SQL em OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.
  
  Dica:
  Talvez seja necessário executar cada instrução separadamente para que a ferramenta SQL execute os scripts com sucesso.
5. Para verificar se as tabelas foram criadas com sucesso, feche a janela SQL e reabra-a novamente. Na guia Navegador, procure o esquema SRC_OCIGGLL e selecione tabelas nas respectivas listas drop-down.
Ative o registro em log complementar:
1. Desmarque a Planilha SQL.
2. Informe a seguinte instrução e clique em Executar Instrução:
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Tarefa 1: Criar os recursos

Este exemplo de início rápido exige implantações e conexões para a origem e o destino.

Crie uma implantação Oracle para a instância do Autonomous Transaction Processing de origem.
Crie uma implantação do Big Data para o destino do Apache Iceberg.
Crie uma conexão do Autonomous Transaction Processing.
Crie uma conexão do Apache Iceberg.
Crie uma conexão de servidor GoldenGate e atribua-a à implantação Oracle.
Designe a conexão do ATP à implantação do Oracle.
Atribua a conexão Iceberg à implantação do Big Data.

Tarefa 2: Adicionar o Extract

Na página Implantações, selecione a implantação do Autonomous Transaction Processing de origem.
Na página detalhes da implantação, clique em Iniciar Console.
Faça log-in com o nome de usuário e a senha do administrador da implantação de origem.
Adicionar informações de transação.
Adicione um Extract.

Tarefa 3: Adicionar e executar o comando Distribution Path

Se estiver usando o armazenamento de credenciais GoldenGate, crie um usuário para o Caminho de Distribuição na implantação do Big Data de destino; caso contrário, pule para a Etapa 3.
Na Console de Implantação do ATP GoldenGate de origem, adicione uma Conexão de Caminho para o usuário criado na Etapa 1.
1. Na console de implantação do ATP GoldenGate de origem, clique em Conexões de Caminho na navegação esquerda.
2. Clique em Adicionar Conexão de Caminho (ícone de mais) e conclua o seguinte:
  1. Para Alias da Credencial, informe GGSNetwork.
  2. Para o ID do Usuário, informe o nome do usuário criado na Etapa 1.
  3. Digite a senha do usuário duas vezes para verificação.
3. Clique em Enviar.
  
  A conexão de caminho aparece na lista Conexões de Caminho.
Na console de implantação do ATP de origem, adicione um Caminho de Distribuição com os seguintes valores:
1. Na página Opções de Origem:
  - Para Extração de Origem, selecione a Extração criada na Tarefa 2.
  - Para Nome da Trilha, informe um Nome de dois caracteres, como E1
2. Na página Opções de Destino:
  - Para Host do Destino, informe o domínio do host da implantação do destino.
  - Para o Número de Porta, informe 443.
  - Para Nome da Trilha, informe um Nome de dois caracteres, como E1
  - Para Alias, informe o Apelido da Credencial criado na Etapa 2.
Na console de implantação do Big Data de destino, verifique a Receiver Path criada como resultado da Distribution Path.
1. Na console de implantação do Big Data de destino, clique em Receiver Service.
2. Verifique os detalhes do caminho. Este caminho foi criado como resultado do Distribution Path criado na etapa anterior.

Tarefa 4: Adicionar e executar o processo de Replicat

Para adicionar e executar uma Replicação:

Na console de implantação do OCI GoldenGate, na Home page do Serviço de Administração, clique em Adicionar Replicat (ícone de adição).
No painel Adicionar Replicat, na página Informações de Replicat, preencha os campos conforme necessário e clique em Próximo:
- Para o Tipo de Replicat, selecione Replicat Clássico
- Informe um Nome do Processo, com no máximo 5 caracteres.
- Informe uma Descrição para ajudar a distinguir esse processo de outros.
Na página Opções de Replicat, preencha os campos conforme necessário e clique em Próximo:
1. Para Trilha de Replicação, informe o nome da trilha de Extração.
2. Para Destino, selecione Apache Iceberg.
3. Para Formatar, selecione o formato que deseja ingerir no Apache Iceberg. O padrão é parquet.
4. Para Alias Disponíveis, selecione a conexão do Apache Iceberg na lista suspensa.
Na página Opções Gerenciadas, deixe as definições padrão e clique em Próximo.
Na página Parâmetros de Replicat, deixe as definições default e clique em Avançar.
Na página Propriedades do Replicat, atualize os campos marcados como TODO e clique em Criar e Executar.
Consulte Detalhes do alvo do Apache Iceberg para obter mais informações.

Tarefa 5: Verificar a replicação

Para verificar a replicação, execute atualizações na instância ATP de origem.

Na console do Oracle Cloud, abra o menu de navegação, selecione Oracle Database e, em seguida, selecione Autonomous Database.
Na lista de Autonomous Databases, selecione sua instância de origem para exibir seus detalhes.
Na página Detalhes do banco de dados, clique em Ações do banco de dados.
Na página de ações do Banco de Dados, selecione SQL.

Digite as seguintes instruções de inserção na Planilha SQL e clique em Executar script:

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

Na console da implantação do ATP de origem, selecione o nome da Extração e clique em Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.
Na console de implantação do Big Data de destino, selecione o nome do Processo de Replicat e clique em Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.