Transmita dados em tempo real para o OCI Object Storage

Este exemplo de início rápido demonstra como replicar dados do Autonomous Transaction Processing para o OCI Object Storage usando o OCI GoldenGate.

Esse início rápido também está disponível como um workshop LiveLab. Veja o workshop.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter:

Configuração do ambiente: Autonomous Transaction Processing

Se você ainda não tiver um banco de dados de origem configurado para replicação, poderá seguir estas etapas para carregar um esquema de amostra a ser usado para esse início rápido. Esse início rápido usa o Autonomous Transaction Processing para o banco de dados de origem.

Para configurar o Autonomous Database de origem:

  1. Faça download e descompacte o esquema de banco de dados de amostra.
  2. Na console do Oracle Cloud, selecione a instância do Autonomous Transaction Processing (ATP) na página Autonomous Databases para exibir seus detalhes e acessar o Database Actions.
  3. Desbloqueie o usuário GGADMIN:
    1. Clique em Ações do banco de dados e, em seguida, clique em Usuários do Banco de Dados.
    2. Localize GGADMIN e clique em seu menu de reticências (três pontos) e selecione Editar.
    3. No painel Editar Usuário, informe a senha GGADMIN, confirme a senha e desmarque A conta está Bloqueada.
    4. Clique em Aplicar Alterações.
  4. Carregue os dados e o esquema de amostra de origem:
    1. No menu do Database Actions, em Desenvolvimento, selecione SQL.
    2. Copie e cole o script de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql na planilha SQL.
    3. Clique em Executar Script. A guia Saída do Script exibe mensagens de confirmação.
    4. Limpe a planilha SQL e copie e cole o script SQL de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Dica:

      Talvez seja necessário executar cada instrução separadamente para que a ferramenta SQL execute os scripts com sucesso.
    5. Para verificar se as tabelas foram criadas com sucesso, feche a janela SQL e reabra-a novamente. Na guia Navegador, procure o esquema SRC_OCIGGLL e selecione tabelas em suas respectivas listas drop-down.
  5. Ative o log complementar:
    1. Desmarque a Planilha SQL.
    2. Informe a seguinte instrução e clique em Executar Instrução:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Tarefa 2: Adicionar e executar o processo de Extract

  1. Na página Implantações, selecione a implantação do Autonomous Transaction Processing de origem.
  2. Na página de detalhes da implantação, clique em Iniciar Console.
  3. Faça log-in com o nome de usuário e a senha do administrador da implantação de origem.
  4. Adicionar informações de transação.
  5. Adicionar um Extract.

Tarefa 3: Adicionar e executar o Distribution Path

  1. Se estiver usando o armazenamento de credenciais GoldenGate, crie um usuário para o Caminho de Distribuição na implantação do Big Data de destino; caso contrário, pule para a Etapa 3.
  2. Na console de implantação GoldenGate do ATP de origem, adicione uma Conexão de Caminho para o usuário criado na Etapa 1.
    1. Na console de implantação GoldenGate do ATP de origem, clique em Conexões do Caminho na navegação esquerda.
    2. Clique em Adicionar Conexão de Caminho (ícone de mais) e conclua o seguinte:
      1. Para Alias da Credencial, digite GGSNetwork.
      2. Para ID do Usuário, digite o nome do usuário criado na Etapa 1.
      3. Digite a senha do usuário duas vezes para verificação.
    3. Clique em Submeter.

      A conexão de caminho aparece na lista Conexões de Caminho.

  3. Na console de implantação ATP de origem, adicione um Caminho de Distribuição com os seguintes valores:
    1. Na página Opções de Origem:
      • Para Extract de Origem, selecione o processo de Extract criado na Tarefa 2.
      • Para Nome da Trilha, digite um nome de dois caracteres, como E1.
    2. Na página Opções de Destino:
      • Para Host de Destino, informe o domínio do host da implantação de destino.
      • Para Número da Porta, digite 443.
      • Para Nome da Trilha, digite um nome de dois caracteres, como E1.
      • Para Alias, informe o Alias da Credencial criado na Etapa 2.
  4. Na console de implantação do Big Data de destino, verifique o Receiver Path criado como resultado do Distribution Path.
    1. Na console de implantação do Big Data de destino, clique em Receiver Service.
    2. Verifique os detalhes do caminho. Esse caminho foi criado como resultado do Distribution Path criado na etapa anterior.

Tarefa 4: Adicionar e executar o Replicat

  1. No menu de navegação da console de implantação do Big Data de destino, clique em Replicats.
  2. Na página Replicats, clique em Adicionar Replicat (ícone de mais) e preencha o formulário da seguinte forma:
    1. Na página Informações do Replicat:
      1. Para Replicat Type, selecione Classic Replicat.
      2. Em Nome do Processo, digite um nome, como REP
    2. Na página Opções Replicat:
      1. Para Replicat Nome da Trilha, digite um nome com dois caracteres, como E1.
      2. Para Destino, selecione OCI Object Storage
    3. Na página Arquivo de Parâmetros, substitua MAP *.*, TARGET *.*; por:
      MAP SRC_OCIGGLL.*, TARGET *.*;
    4. Na página Arquivo de Propriedades, configure as propriedades do Handler de Eventos do OCI conforme necessário.
      Propriedades obrigatórias:
      • gg.eventhandler.oci.compartmentID: O OCID do compartimento no qual reside o bucket do OCI Object Storage.
      • gg.handler.oci.fileNameMappingTemplate: Gera nomes de arquivos dinamicamente usando Palavras-chave de Modelo.
      As propriedades que você pode considerar modificar incluem:
      • gg.handler.oci.format: Selecione como formatar a saída. json_row é a definição padrão. As opções disponíveis incluem:

        Dica:

        Para usar a propriedade de formatação do OCI Object Storage, substitua name por oci. Por exemplo, gg.handler.name.format torna-se gg.handler.oci.format.
      • gg.handler.oci.inactivityRollInterval: O GoldenGate cria um arquivo e o mantém aberto para gravação. Essa propriedade fecha o arquivo após o período de inatividade designado (sem transações de entrada) e, em seguida, carrega-o no OCI Object Storage. Por padrão, ele é definido como 5 segundos. Você pode especificar um tempo em milissegundos (ms), segundos (s), minutos (m) ou horas (h). Por exemplo, gg.handler.oci.inactivityRollInterval=10m.
      • gg.handler.oci.maxFileSize: O File Writer Handler abre o arquivo e o mantém aberto até ele atingir o tamanho máximo, supondo que não haja alterações de metadados. Por padrão, o tamanho máximo do arquivo é 1 GB, mas você pode alterá-lo usando essa propriedade. Quando o tamanho é atingido, o arquivo é fechado e um novo arquivo é gerado. Por exemplo, gg.handler.oci.maxFileSize=500m.
      • gg.handler.oci.rollOnShutdown: O valor padrão é verdadeiro. Quando definido como verdadeiro, GoldenGate faz shutdown do arquivo aberto quando você interrompe o processo Replicat. Por padrão, o Handler do Gravador de Arquivos mantém o arquivo aberto mesmo que Replicat pare e continue gravando no mesmo arquivo quando Replicat for reiniciado. Por exemplo, gg.handler.oci.rollOnShutdown=false
      • gg.handler.oci.fileRollInterval: Designa o tempo para manter o arquivo aberto antes de ser fechado e rola para um novo arquivo. Por padrão, é definido como 7 minutos. Você pode especificar um tempo em milissegundos (ms), segundos (s), minutos (m) ou horas (h). Por exemplo, gg.handler.oci.fileRollInterval=10m.
      • gg.eventhandler.oci.bucketMappingTemplate: Informe o nome do bucket do serviço Object Storage.
    5. Clique em Criar e Executar.

Tarefa 5: Verificar a replicação

Execute algumas atualizações na instância do Autonomous Transaction Processing de origem para verificar a replicação no OCI Object Storage.
  1. Na console do Oracle Cloud, abra o menu de navegação, selecione Oracle Database e, em seguida, selecione Autonomous Transaction Processing.
  2. Na lista de instâncias do Autonomous Transaction Processing, selecione sua instância de origem para exibir os detalhes dela.
  3. Na página de detalhes do banco de dados, clique em Database Actions.
    Observação

    Você deverá ter feito log-in automaticamente. Caso contrário, faça log-in com as credenciais do banco de dados.
  4. Na home page do Database Actions, selecione SQL.
  5. Informe o seguinte na planilha e clique em Executar Script.
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. Na console de implantação do ATP de origem, selecione o nome do processo de Extract e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  7. Na console de implantação GoldenGate do Big Data OCI de destino, selecione o nome do processo de Replicat e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  8. Na console do Oracle Cloud, navegue até o bucket do OCI Object Storage e verifique seu conteúdo.

Tarefa 6: Monitorar e manter processos