Replicar Dados do PostgreSQL para o Processamento Autônomo de Transações de IA

Aprenda a replicar dados de um banco de dados do servidor PostgreSQL para Autonomous AI Transaction Processing usando OCI GoldenGate.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter o seguinte:

Uma instalação do PostgreSQL para servir como banco de dados de origem (Consulte Configuração do ambiente)
Abra a porta 5432 na lista de segurança da sua VCN
Uma instância do Autonomous AI Transaction Processing para servir como banco de dados de destino

Configuração do ambiente: PostgreSQL

Para configurar o ambiente para esse Início Rápido:

Execute os comandos a seguir para instalar o PostgreSQL.
1. Instale o servidor PostgreSQL:
```
sudo yum install postgresql-server
```
2. Instale o módulo postgresql-contrib para evitar esta exceção SQL:
```
sudo yum install postgresql-contrib
```
3. Crie um novo cluster de banco de dados PostgreSQL:
```
sudo postgresql-setup --initdb
```
4. Ative o postgresql.service:
```
sudo systemctl enable postgresql.service
```
5. Inicie o postgresql.service:
```
sudo systemctl start postgresql.service
```
Por padrão, o PostgreSQL só permite conexões locais. Permitir conectividade remota com o PostgreSQL.
1. No /var/lib/pgsql/data/postgresql.conf, prepare o banco de dados para replicação.
2. Localize e remova o comentário de listen_addresses = 'localhost' e altere o localhost para um asterisco (`):
```
listen_addresses = '*'
```
3. Defina os seguintes parâmetros da seguinte forma:
  - wal_level = logical
  - max_replication_slots = 1
  - max_wal_senders = 1
  - track_commit_timestamp = on
  Observação:
  
  Configure o /var/lib/pgsql/data/pg_hba.conf para garantir que a autenticação do cliente seja definida para permitir conexões de um host do Oracle GoldenGate. Por exemplo, adicione o seguinte:
```
#Allow connections from remote hosts

host all all 0.0.0.0/0 md5
```
  Consulte O arquivo pg_hba.conf para obter mais informações.
  1. Reinicie o servidor PostgreSQL:
```
sudo systemctl restart postgresql.service
```
  1. Se estiver usando o Oracle Cloud Compute para hospedar o PostgreSQL, abra a porta 5432:
```
sudo firewall-cmd --permanent --add-port=5432/tcp
sudo firewall-cmd --reload
sudo firewall-cmd --list-all
```
4. Abra a porta 5432 na lista de segurança da sua VCN.
5. Estabeleça Conexão com o PostgreSQL.
```
> sudo su - postgres
> psql
```
  Observação: Se preferir, você poderá informar sudo su - postgres psql se o exemplo acima não funcionar.
6. Configure o PostgreSQL.
  1. Faça download do seedSRCOCIGGLL_PostgreSQL.sql e execute-o para configurar o banco de dados e carregar os dados de amostra.
  2. Execute os seguintes comandos para configurar o usuário (certifique-se de substituir <password> por uma senha real):
```
create user ggadmin with password '<password>';
alter user ggadmin with SUPERUSER;
GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin;
```

Configuração do ambiente: Autonomous AI Transaction Processing (ATP)

Faça download e descompacte o esquema de banco de dados de amostra.
Desbloqueie o usuário GGADMIN.
1. Na console do Oracle Cloud, selecione sua instância ATP da página Autonomous AI Databases para exibir seus detalhes e acessar Ações do Banco de Dados.
2. Selecione Database Actions e, em seguida, Database Users.
3. Localize GGADMIN e selecione seu menu de reticências (três pontos) e selecione Editar.
4. No painel Editar Usuário, informe a senha GGADMIN, confirme a senha e depois desmarque Conta Bloqueada.
5. Selecione Aplicar Alterações.
Carregue o esquema e os dados de amostra de destino.
1. No menu Database Actions, selecione SQL.
2. Copie e cole o script de OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql na planilha de SQL.
3. Selecione Executar Script. A guia Saída do Script exibe mensagens de confirmação.
4. Limpe a planilha SQL e copie e cole o SQL do OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql.
5. Para verificar se as tabelas foram criadas com sucesso, feche a janela SQL e reabra-a novamente. Na guia Navegador, procure o esquema SRC_OCIGGLL e selecione tabelas de suas respectivas listas drop-down.

Tarefa 1: Criar os recursos do OCI GoldenGate

Este exemplo de início rápido exige implantações e conexões para a origem e o destino.

Crie uma implantação para o banco de dados PostgreSQL de origem.
Crie uma implantação para a instância de destino do Autonomous AI Transaction Processing.
Crie uma conexão com o banco de dados PostgreSQL de origem.
1. Para Tipo, certifique-se de selecionar PostgreSQL Server.
2. Para Nome do banco de dados, digite ociggll.
3. Para Host, informe o IP público da instância do serviço Compute na qual o PostgreSQL é executado.
4. Para Porta, informe 5432.
5. Para Username, digite ggadmin.
6. Em Senha, informe uma senha.
7. Para Protocolo de Segurança, selecione Simples.
Crie uma conexão para a instância de destino do Autonomous AI Transaction Processing.
Crie uma conexão com o GoldenGate e, em seguida, designe essa conexão à implantação do PostgreSQL de origem.
Designe a conexão de Origem à implantação do PostgreSQL de Origem.
Atribua a conexão de destino à implantação do Oracle de alvo.

Tarefa 2: Ativar log complementar

Para ativar o registro em log complementar:

Inicie a console de implantação do PostgreSQL GoldenGate do:
1. Na página Implantações, selecione a implantação do PostgreSQL para ver os detalhes.
2. Na página Detalhes da implantação do PostgreSQL, selecione Iniciar console.
3. Na página de acesso da console de implantação, informe as credenciais de administrador do GoldenGate fornecidas na Tarefa 1, etapa 1.
  
  Observação: O acesso será obrigatório se o IAM não tiver sido selecionado como o armazenamento de credenciais ao criar uma implantação.
Na console de implantação, selecione Conexões de BD na navegação esquerda, depois o banco de dados PostgreSQL de origem e, em seguida, Trandata.
Na página TRANDATA, ao lado de Informações TRANDATA, selecione Adicionar TRANDATA (ícone de mais).
No painel Trandata, para Nome do Esquema, digite src_ociggll e selecione Enviar.

Observação: Use o campo de pesquisa para procurar src_ociggll e verificar se as tabelas foram adicionadas.

Tarefa 3: Criar os processos de Extract

Adicionar a Extração da Captura de Dados de Alteração:
1. Na navegação esquerda, selecione Extrações,
2. Na página Extracts, selecione Adicionar Extract (ícone de mais) e preencha os campos da seguinte forma:
  - Na página Informações da Extração:
    1. Para Tipo de extração, selecione Alterar Extração de Captura de Dados.
    2. Para Nome do Processo, informe um nome para o processo Extract, como ECDC.
    3. Selecione Próximo.
  - Na página Opções de Extração:
    1. Para credenciais de Origem, selecione Oracle GoldenGate na lista drop-down Domínio
    2. Selecione o banco de dados PostgreSQL de origem na lista drop-down Alias.
    3. Para Extrair Nome da Trilha, informe um nome de trilha de dois caracteres, como C1.
    4. Selecione Próximo.
  - Na página Parâmetros de Extração, substitua MAP *.*, TARGET *.*; pelo seguinte:
```
TABLE SRC_OCIGGLL.*;
```
3. Selecione Criar e Executar.
Adicione a Extração de Carga Inicial:
1. Na página Extracts, selecione Adicionar Extract e preencha o formulário Adicionar Extract da seguinte forma:
  - Na página Informações da Extração:
    1. Para o tipo de Extração, selecione Extração de Carga Inicial.
    2. Para Nome do Processo, informe um nome, como EIL.
    3. Selecione Próximo.
  - Na página Opções de Extração:
    1. Para credenciais de Origem, selecione Oracle GoldenGate na lista drop-down Domínio.
    2. Selecione o banco de dados PostgreSQL na lista drop-down Alias.
    3. Para Nome da Trilha de Extração, informe um nome de trilha de dois caracteres, como I1.
    4. Selecione Próximo.
  - Na página Parâmetros de Extração, substitua o conteúdo da área de texto pelo seguinte:
```
EXTRACT EIL
USERIDALIAS PostgreSQL_Compute, DOMAIN OracleGoldenGate
EXTFILE I1, PURGE
TABLE src_ociggll.*;
```
    Observação: certifique-se de remover o parâmetro SOURCEDB na frente de USERIDALIAS antes de seguir em frente.
2. Selecione Criar e Executar.

Você retorna à página Extracts, na qual é possível observar o início do processo Extract.

Tarefa 4: Criar o Caminho de Distribuição para Extract de Carga Inicial

Na página Implantações, selecione a implantação do Oracle de destino.
Na página de detalhes da implantação, selecione Iniciar Console e, em seguida, faça log-in como usuário administrador.
Se estiver usando o armazenamento de credenciais do IAM, prossiga para a etapa Criar um Caminho de Distribuição. Se estiver usando o armazenamento de credenciais do GoldenGate, crie um usuário com o qual o GoldenGate de origem use para estabelecer conexão com o GoldenGate de destino.
1. No menu de navegação, selecione Administração de Usuários.
2. Selecione Adicionar Novo Usuário (ícone de adição), preencha os campos da seguinte forma e selecione Submeter:
  - Para Username, informe ggsnet.
  - Para Atribuição, selecione Operador.
  - Digite a senha duas vezes para verificação.
No console de implantação do PostgreSQL de origem, crie uma Conexão de Caminho para o usuário criado na etapa anterior.
1. No menu de navegação, selecione Conexões de Caminho.
2. Selecione Adicionar Conexão de Caminho (ícone de mais), preencha os campos da seguinte forma e selecione Submeter:
  - Para o Alias de Credencial, digite dpuser.
  - Para ID do Usuário, digite ggsnet
  - Para Senha, digite a mesma senha usada na etapa anterior.
Criar um Caminho de Distribuição.
1. Na barra de menus do serviço, selecione Caminhos e, em seguida, selecione Adicionar Caminho de Distribuição (ícone de mais).
2. Preencha o formulário Adicionar Caminho da seguinte forma:
  - Na página Informações do Caminho:
    1. Para Nome do Caminho, informe um nome para este caminho.
    2. Selecione Próximo.
  - Na página Opções de Origem:
    1. Para Extração de Origem, deixe em branco.
    2. Para Nome da Trilha, informe o nome de trilha de Extração da Carga Inicial (I1).
    3. Selecione Próximo.
  - Na página Opções de Destino:
    1. Para Destino, selecione wss.
    2. Para o Host do Destino, informe o URL da implantação do destino, sem https:// ou qualquer barra à esquerda.
    3. Para o Número de Porta, informe 443.
    4. Para Nome da Trilha, informe I1.
    5. Para Método de Autenticação de Destino, selecione Alias de ID de Usuário.
    6. Para Domínio, informe o nome do domínio criado na etapa anterior.
    7. Para Alias, informe o alias criado na etapa anterior (dpuser).
    8. Selecione Próximo.
3. Selecione Criar e Executar.
Você retorna à página Serviço de Distribuição, na qual pode revisar o caminho criado.
Na console de implantação de destino, verifique o caminho do Receptor criado como resultado do caminho de Distribuição:
1. Selecione Caminhos.
2. Verifique os detalhes do Caminho.

Tarefa 5: Adicionar um processo de Replicat para Carga Inicial

Na implantação do Oracle de destino, adicione uma tabela de Checkpoint.
1. No menu de navegação, selecione Conexões de BD
2. Selecione a instância de destino do Autonomous AI Database e, em seguida, Pontos de Verificação.
3. Na página Pontos de Verificação, selecione Adicionar Ponto de Verificação (ícone de mais).
4. No painel Checkpoint, para Tabela de Esquema, informe SRCMIRROR_OCIGGLL.CHECKTABLE.
5. Selecione Enviar.
Adicione o processo de Replicat.
1. No menu de navegação, selecione Replicats.
2. Na página Replicats, selecione Adicionar Replicat (ícone de mais) e preencha os campos Adicionar Replicat da seguinte forma:
  - Na página Informações do Replicat:
    1. Para Tipo de replicat, selecione Replicat Não Integrado.
    2. Para Nome do Processo, informe um nome, como RIL.
    3. Selecione Próximo
  - Na página Opções de Replicat:
    1. Para Nome da Trilha de Replicação, informe o nome da Trilha da Tarefa 2 (I1).
    2. Para Credenciais de Destino, selecione o Domínio e o Alias para a conexão do Autonomous AI Database.
    3. Para Tabela de Checkpoint, selecione a tabela de Checkpoint que você criou na Etapa 1.
    4. Selecione Próximo.
  - Na página Arquivo de Parâmetros, substitua MAP *.*, TARGET *.*; pelo seguinte:
```
MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
```
3. Selecione Criar e Executar.
Você retorna à página Replicats, na qual pode revisar os detalhes do Replicat.
Selecione o processo de Replicat (RIL) e exiba seus Detalhes.
Selecione Estatísticas e verifique o número de Inserções. Atualize a página.
- Se o número de Inserções não for alterado, todos os registros da Carga Inicial serão carregados e você poderá interromper o Replicat (RIL)
- Se o número de Inserções continuar a aumentar, mantenha a atualização da página até que os registros de Carga Inicial sejam todos carregados antes de continuar.
Verifique a Carga Inicial.
1. Na console do Oracle Cloud, na página de detalhes do Autonomous AI Database, selecione Database actions e, em seguida, selecione SQL.
2. Na ferramenta SQL, informe cada uma das seguintes instruções na planilha e selecione Executar Instrução:
```
SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
```
  A saída deve retornar os dados que foram carregados nas tabelas do banco de dados de destino como resultado da Carga Inicial.

Tarefa 6: Criar um Caminho de Distribuição para a Extração da Captura de Dados de Alteração

No console de implantação do PostgreSQL de origem, selecione Serviço de Distribuição.
Selecione Adicionar Caminho de Distribuição.
Preencha o formulário Adicionar Caminho da seguinte forma:
1. Na página Informações do Caminho:
  1. Para Nome do Caminho, informe um nome.
  2. Selecione Próximo.
2. Na página Opções de Origem:
  1. Para Extração de Origem, selecione a Extração da Captura de Dados de Alteração (ECDC).
  2. Para Nome da Trilha, selecione o arquivo da trilha de Captura de Dados de Alteração (C1).
  3. Selecione Próximo.
3. Na página Opções de Destino:
  1. Para Destino, selecione wss.
  2. Para Host de Destino, informe o URL da console de implantação de destino (você pode encontrar isso na página de detalhes da implantação, sem https:// ou qualquer barra à direita).
  3. Para o Número de Porta, informe 443.
  4. Para Nome da Trilha, informe C1.
  5. Para Método de Autenticação de Destino, selecione Alias de ID de Usuário.
  6. Em Domínio, digite o nome do domínio.
  7. Para Alias, informe o alias.
4. Selecione Criar Caminho e Executar.
Na console de implantação da Oracle de destino, selecione Serviço do Receptor e revise o caminho do Receptor criado.

Tarefa 7: Adicionar um processo de Replicat para Captura de Dados de Alteração

Na console de implantação do Oracle de destino, adicione um Replicat.
1. No menu de navegação Serviço de Administração, selecione Replicats.
2. Na página Replicats, selecione Adicionar Replicat (ícone de mais) e preencha o form Adicionar Replicat da seguinte forma:
  - Na página Informações do Replicat:
    1. Para Tipo de replicat, selecione Replicat Não Integrado.
    2. Para Nome do Processo, informe um nome, como RCDC.
    3. Selecione Próximo.
  - Na página Opções de Replicat:
    1. Para Nome da Trilha Replicat, informe o nome da Trilha da Tarefa 3 (C1).
    2. Para Credenciais de Destino, selecione o Domínio e o Alias para a conexão do Autonomous AI Database.
    3. Para Tabela de Checkpoint, selecione a tabela de Checkpoint.
  - Na página Parâmetros de Replicat, substitua MAP *.*, TARGET *.*; pelo seguinte mapeamento:
```
MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
```
3. Selecione Criar. Não execute o processo de Replicat.
Na página Replicats, selecione o Replicat da Carga Inicial (RIL) e exiba seus Detalhes.
Selecione Estatísticas e verifique o número de Inserções. Atualize a página.
- Se o número de Inserções não for alterado, todos os registros da Carga Inicial terão sido carregados e você poderá interromper o processo de Replicat (RIL)
- Se o número de Inserções persistir a aumentar, continue atualizando a página até que todos os registros de Carga Inicial sejam carregados antes da continuação.
  
  Observação: Se você não vir nenhuma Inserção, selecione Serviço de Métricas de Desempenho, selecione Extrair e, em seguida, Estatísticas do Banco de Dados.
Retorne à página Replicats e inicie o processo Replicat para Captura de Dados de Alteração (RCDC).
Após iniciar o processo Replicat para a Captura de Dados de Alteração, verifique seus Detalhes e Estatísticas para exibir o número de Inserções.

Verifique a replicação:

Execute o seguinte script para executar inserções no banco de dados PostgreSQL:

Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

No console de implantação do PostgreSQL de origem, selecione o Extract de Captura de Dados de Alteração (ECDC) e, em seguida, selecione Estatísticas. Verifique se src_ociggll.src_city tem 10 inserções.

Observação: Se o Extract não tiver inserções capturadas, reinicie o Extract ECDC.
Na console de implantação Oracle de destino, selecione o nome do Replicat (RCDC), exiba seus Detalhes e, em seguida, verifique as Estatísticas. Verifique se SRCMIRROR_OCIGGLL.SRC_CITY tem 10 inserções.