Guia de planejamento de dimensionamento e capacidade do OCI GoldenGate
Use este guia para planejar implantações de Replicação de Dados gerenciadas na Oracle Cloud Infrastructure (OCI), Microsoft Azure e Google Cloud.
Este artigo fornece diretrizes de dimensionamento de recursos e processos de linha de base para implantações de Replicação de Dados do OCI GoldenGate. Você e suas equipes de implementação podem usar isso como um ponto de partida estruturado para selecionar a capacidade de implantação e iniciar o teste de configuração e integração.
O OCI GoldenGate é um serviço de nuvem gerenciado da Oracle disponível na OCI, Microsoft Azure e Google Cloud. Você seleciona a capacidade de implantação e configura processos de replicação. A Oracle opera a infraestrutura de serviço subjacente. Os recursos do banco de dados de origem, o desempenho do banco de dados de destino, a conectividade de rede e a configuração de replicação permanecem parte do plano de capacidade de ponta a ponta.
Este artigo aborda:
- Implementações de Replicação de Dados gerenciadas pelo OCI GoldenGate na OCI, Azure e Google Cloud.
- Origens e destinos relacionais do Oracle Database e não Oracle suportados, usando as tecnologias de implantação e os builds disponíveis na nuvem e região selecionadas.
- Capacidade de Extract, Distribution Path, Receiver Path e Replicat dentro de cada implantação gerenciada.
- Retenção de trilhas, backlog de recuperação, demanda de rede e validação de dimensionamento representativo da produção.
Este artigo não aborda:
- Instalações do GoldenGate autogerenciadas em servidores físicos, máquinas virtuais ou Kubernetes.
- Transformações de Dados, Verificação de Dados e Análise de Fluxo, que exigem modelos de capacidade separados.
- Dimensionamento de hardware de banco de dados e design detalhado de arquiteturas federadas ou ativas complexas.
Para topologias híbridas, dimensione cada componente de acordo com seu modelo operacional. Um Extract no lado de origem gerenciado pelo cliente ainda requer capacidade de host e banco de dados mesmo quando envia alterações para o OCI GoldenGate.
Observação: Este documento fornece orientação de dimensionamento de linha de base, mas não garante desempenho, escalabilidade ou capacidade. O consumo real de recursos varia de acordo com o volume de transações, o tamanho da transação, as transformações, a topologia, os requisitos de latência e o desempenho alvo. Conclua uma prova de conceito usando cargas de trabalho representativas de produção antes de implantar na produção.
Fornecer espaço razoável durante os testes iniciais. Implantações subdimensionadas podem experimentar pressão de recursos, crescimento de trilhas, atraso na replicação ou instabilidade do processo. Monitore o estágio de limitação antes de aumentar recursos ou paralelismo.
Base para estas recomendações
As recomendações de dimensionamento neste documento não se baseiam em um único benchmark ou carga de trabalho sintética. O GoldenGate processa uma ampla gama de perfis de transação, modelos de dados e topologias de replicação, de modo que nenhum valor de throughput único pode representar todos os ambientes de cliente.
Em vez disso, a orientação neste documento reflete uma combinação de:
- Atividades de teste de desempenho e validação de escalabilidade do Oracle Product Development
- Oracle Support e investigações de engenharia de desempenho
- Padrões de implantação observados das implementações do cliente
- Experiência em consultoria e engenharia de campo da Oracle
- Melhores práticas operacionais de ambientes de produção GoldenGate
Essas recomendações fornecem um ponto de partida prático para o provisionamento de infraestrutura e o planejamento de implantação. Os requisitos reais de recursos dependem das características da carga de trabalho, incluindo volume da transação, tamanho da transação, taxas de geração de redo, requisitos de latência, complexidade da transformação, condições de rede e desempenho do sistema de destino.
Os clientes devem tratar essas recomendações como orientação de linha de base e validá-las por meio de testes de prova de conceito e monitoramento operacional antes da implantação da produção.
Níveis de classificação da carga de trabalho
Antes de selecionar um perfil de dimensionamento, classifique a carga de trabalho usando a tabela abaixo. Esses labels descrevem a complexidade do planejamento; eles não mapeiam taxas de redo ou contagens de tabelas para um requisito garantido de OCPU. Quando a demanda varia, teste o período sustentado mais movimentado e a carga de trabalho de recuperação.
| Atributo | Pequeno | Médio | Grande | Extra Grande |
|---|---|---|---|---|
| Perfil da Carga de Trabalho de Destino | Dev / QA ou baixo volume | OLTP do departamento | OLTP Empresarial / DW | Topologia de alto volume ou complexa |
| Refazer Médio por Hora (GB) | 1 GB | 1-100 GB | 100-300 GB | > 300 GB |
| Escopo da Replicação | Escopo de origem e destino limitado | Várias partições de carga de trabalho | Várias origens ou destinos | Alta simultaneidade ou grande fan-out |
| Ênfase no Dimensionamento | Validação funcional | Demanda sustentada | Capacidade de pico e recuperação | Limites de particionamento e falha |
Observação: O tamanho do banco de dados, o TPS (Transações por Segundo) e a contagem de tabelas sozinhos não são preditores confiáveis do consumo de recursos. Colete bytes de redo/log de origem, características da transação, bytes de trilha capturados e tráfego remoto separadamente. Para origens Oracle, valide medições de redo com o DBA e evite contar cópias de log arquivado duplicadas ou threads RAC mais de uma vez.
Inicializando workflow de dimensionamento
-
Meça a carga de trabalho de origem.
- Colete a taxa de geração de redo.
- Entenda as características da transação.
- Identifique a contagem de origem e destino.
-
Selecione um perfil de carga de trabalho.
- Use a tabela Níveis de Classificação de Carga de Trabalho para identificar os casos de teste necessários.
-
Crie recursos de replicação de dados.
- Selecione as OCPUs base e o dimensionamento automático. Confirme o limite de nuvem, região, build e armazenamento.
-
Configure GoldenGate.
- Configure os processos Extrair, Caminho de Distribuição e Replicar suportados.
-
Estabeleça uma base de monitoramento.
- Capture OCPUs consumidas, memória, atraso no processo e crescimento de trilha desde o primeiro dia.
-
Validar dimensionamento.
- Execute cargas de trabalho de pico normais e sustentadas, de carga inicial e de recuperação de interrupção.
-
Ajuste os recursos conforme necessário.
- Altere o recurso de limitação ou a configuração de processo suportada e repita o teste.
Dimensionamento de computação e armazenamento
O OCI GoldenGate aloca recursos para implantações gerenciadas. A tabela a seguir resume exemplos de configurações base e o modelo de alocação documentado. Os valores de desenvolvimento e produção são orientações de planejamento inicial. Os valores maiores são exemplos de configuração em vez de recomendações de camada de carga de trabalho.
Filosofia de dimensionamento:
- Comece com os requisitos da linha de base de serviço e do processo concorrente e, em seguida, valide a demanda real.
- Forneça espaço para picos, grandes transações, manutenção e recuperação enquanto as alterações de origem continuam.
- Dimensione cada implantação de forma independente e retenha planos de capacidade separados de banco de dados de origem e de destino.
| Recurso | Desenvolvimento/Teste | Início da produção | Exemplo Maior | Base Máxima |
|---|---|---|---|---|
| OCPUs Base | 1 | 4 | 8 | 24 |
| Alocação de Memória Base | 16 GB | 64 GB | 128 GB | 384 GB |
| Alocação de Rede Base | 1 Gbps | 4 Gbps | 8 Gbps | 24 Gbps |
| Armazenamento (Trilhas, outros arquivos) | 500 GB | 2 TB | 4 TB | 12 TB |
Orientação para OCPU
- A Oracle recomenda começar com 1 OCPU para desenvolvimento/teste e 4 OCPUs para produção. Ative o dimensionamento automático, se necessário, para lidar com cargas de trabalho de pico. Você também pode ampliar ou reduzir implantações manualmente.
- O dimensionamento automático pode usar até três vezes OCPUs base, com limite de 24 OCPUs. Teste a demanda sustentada e a recuperação na configuração selecionada.
- Comece com 1 OCPU para cada Extract, Replicat ou Caminho de Distribuição simultâneos como orientação de planejamento de processo. Ajuste a contagem de OCPUs durante o teste.
- A demanda da CPU de extração varia com as alterações capturadas, as características da transação, a filtragem, as transformações e a mineração de origem.
- A Oracle também recomenda a alocação de 1 OCPU para a interface do usuário.
Orientação sobre memória
- A alocação de serviço é de 16 GB de memória por OCPU. Valide a pressão da memória junto com a computação consumida e a demanda de espaço temporário.
- Os requisitos de memória dependem de dados transacionais não confirmados, transações de longa execução, LOBs, processos simultâneos e atividade de derramamento. Fornecer espaço até que testes representativos estabeleçam a demanda.
- Por padrão, cada handler do Big Data geralmente usa 8 GB de memória. Certifique-se de que as definições de heap
jvm.bootoptions(-Xmxe-Xms) sejam dimensionadas corretamente para evitar erros deOutOfMemorysob carga de pico. CACHEMGRé autoconfiguração e autoajuste internos. Guarde os padrões e consulte o Suporte Técnico da Oracle antes de alterar os controles de tamanho do cache.- O Integrated Extract usa o servidor de logmining do banco de dados de origem e o pool de streams. O aumento das OCPUs de serviço não aumenta a capacidade da SGA de origem.
- O Database Parallel Replicat usa Mapeadores, um Mestre e Aplicadores. Avalie o processo e a memória do banco de dados de destino em vez de aplicar uma estimativa genérica de JVM-heap-por-thread.
Orientação de armazenamento e E/S
- O armazenamento e a implementação do sistema de arquivos são gerenciados por serviço. Os clientes planejam a capacidade de retenção e recuperação em vez de selecionar tipos de disco, pontos de montagem ou IOPS.
- Conte cada cópia de trilha física dentro de cada implantação e reserve espaço para relatórios, arquivos de descarte, derramamento temporário, arquivos operacionais e requisitos relacionados a backup, quando aplicável.
- Observe que as trilhas de carga inicial tendem a consumir mais espaço de armazenamento do que as trilhas regulares.
Política de retenção de trilhas
Baseie a retenção de trilhas em objetivos de recuperação de negócios, procedimentos operacionais e a duração máxima esperada de interrupção dos sistemas a jusante. A janela necessária também deve abranger reinicialização, atualização, resposta do operador e qualquer requisito adicional de repetição.
Exemplo de início de destinos de retenção:
| Tipo de Implantação | Retenção de Trilha Recomendada |
|---|---|
| Desenvolvimento / QA | 4-8 horas |
| Produção (destino único) | 24 horas |
| Produção (cargas de trabalho críticas) | 48-72 horas |
| Implantações entre regiões/WAN | 72+ horas |
- Mantenha a proteção de checkpoint ativada para trilhas ao vivo e valide todos os consumidores Extract, Distribution, Receiver e Replicat.
- Uma tarefa de limpeza exclui arquivos elegíveis.
- Confirme a retenção do log de origem e da trilha para que a captura possa ser reiniciada na posição necessária.
Estes são exemplos de alvos iniciais. A janela selecionada deve cobrir o procedimento de recuperação real e ajustar-se dentro do limite de armazenamento de implantação confirmado.
Cálculo de armazenamento de trilha
Ao dimensionar o armazenamento de trilhas, considere:
- Taxa de Geração da Trilha de Pico x Período de Retenção x Fator de Segurança
- A Oracle recomenda aplicar um fator de segurança mínimo de pelo menos 1.5x para acomodar picos de carga de trabalho, janelas de manutenção e interrupções de destino inesperadas.
- Não expurgue arquivos de trilha com base apenas na idade. Expurgar arquivos somente depois que todos os processos Replicat downstream tiverem processado com sucesso os dados de trilha necessários e suas posições de checkpoint tiverem avançado além dos arquivos que você planeja remover.
- Para ambientes críticos para os negócios, a retenção deve ser suficiente para permitir a recuperação de atividades de manutenção planejadas, interrupções no banco de dados de destino, interrupções na rede e investigações de solução de problemas sem exigir o reposicionamento ou a reinstanciação do Extract dos sistemas de destino.
Use esta fórmula:
Required Trail Storage = Peak Trail GB/hour x Retention Hours x Safety Factor
Exemplo: 100 GB/hora x 24 horas x 1,5 = 3.600 GB (3,6 TB)
O fator de segurança é uma linha de base de planejamento, não uma regra de alocação de serviço gerenciado. Use bytes medidos de geração de trilha para cada cópia de trilha local, adicione a reserva sem trilha e inclua a interrupção completa, a reinicialização, a recuperação e o intervalo de resposta sem contar os mesmos dados duas vezes.
Observação: O exemplo ilustra o cálculo e não é uma recomendação de capacidade de implantação única. Valide a retenção e o particionamento da carga de trabalho em relação à capacidade confirmada de cada implantação.
GoldenGate recomendações de contagem de processos
A tabela a seguir fornece contagens de processos recomendadas por implantação de Replicação de Dados GoldenGate do OCI para cada camada de carga de trabalho. Essas contagens assumem um padrão de implantação de origem única e de vários destinos. Para configurações de várias origens, multiplique a contagem de Extract pelo número de bancos de dados de origem e ajuste a contagem de OCPUs adequadamente.
| Processo GG | Pequeno | Médio | Grande | Extra Grande |
|---|---|---|---|---|
| Extrair (Integrado) | 1 | 1-2 | 1-2 | 2-4 |
| Caminhos de Distribuição | 1-2 | 2-4 | 4-8 | 8-16 |
| Replicat (Clássico) | 1-2 | 2-5 | 5-15 | 15-30 |
| Replicat (Paralelo) | 1 | 1-2 | 2-4 | 4-8 |
| Replicat (Coordenado) | 1-2 | 2-5 | 5 a 10 | 10–0 |
| Máximo de Processos Concorrentes | 2-4 | 8-14 | 16-34 | 36-70 |
Para várias origens, contabilize cada escopo de captura suportado e ajuste a computação de acordo. Aplique a permissão de console e processo simultâneo no OCPU Guidance e valide a memória, a capacidade de destino e a demanda de pico. Faça a partição da carga de trabalho entre implantações quando uma implantação não puder atender ao requisito testado.
Extrair diretrizes do processo
- Comece com um Extract Integrado por escopo de captura de origem suportado. Para origens de CDB/PDB, use a configuração de captura suportada pelo build de implantação e banco de dados selecionados.
- Apresente extrações adicionais somente para uma partição de carga de trabalho válida ou um gargalo de captura medido. Teste a sobrecarga de mineração, os recursos do banco de dados de origem, a consistência da transação e a recuperação.
- Um único Extract pode gravar em vários arquivos de trilha. Isso permite que um único Extract alimente vários destinos ou divida uma grande carga de trabalho em várias trilhas que vários Replicats podem processar.
- Confirme as restrições da plataforma antes de usar várias trilhas; por exemplo, o Extract MySQL com posicionamento de conjunto GTID suporta apenas uma trilha.
Diretrizes do Distribution Service
- Um único Serviço de Distribuição pode sustentar vários caminhos simultâneos. Configure um caminho para cada rota de transferência de trilha necessária e contabilize o tráfego de fan-out e cada consumidor downstream.
- Para distribuição WAN, revise as configurações suportadas de buffer de caminho e descarga TCP para compensar a latência da rede. Altere as configurações somente após o teste de rota demonstrar a restrição.
Diretrizes do processo Replicat
- Selecione o processo Replicat correto para sua carga de trabalho. Por exemplo, consulte Tipos de Replicat para bancos de dados Oracle.
- A Oracle recomenda o Replicat Não Integrado Paralelo para bancos de dados Oracle e o Replicat Paralelo para todas as outras plataformas GoldenGate que o suportam.
- O Replicat Clássico aplica-se em série e se adapta ao desenvolvimento, cenários de DR de carga de trabalho leve e alvos não Oracle que não têm suporte de aplicação paralela.
- Um coordenador gerencia vários threads de aplicação do Replicat Coordenado, tornando-o adequado para cargas de trabalho OLTP estruturadas que exigem rastreamento de dependência.
- Designe um grupo Replicat por esquema de destino ou partição de carga de trabalho lógica para maximizar o paralelismo e isolar domínios de falha.
Consideração de OCPU
- O Replicat Paralelo geralmente requer recursos de OCPU adicionais à medida que o paralelismo aumenta.
- O Replicat Integrado executa aplicação paralela dentro do Oracle Database de destino; portanto, inclua recursos de banco de dados de destino no planejamento de capacidade.
Orientação sobre topologia para recuperação de desastres
O OCI GoldenGate opera a infraestrutura de serviço. Selecione uma topologia de recuperação gerenciada de acordo com os objetivos de recuperação de negócios e a disponibilidade de recursos na nuvem e região escolhidas. Banco de dados, rede, replicação e recuperação de aplicativos permanecem parte do design completo.
Implantação única
- Adequado como uma implantação inicial para desenvolvimento, garantia de qualidade, pilotos e cargas de trabalho com procedimentos de recuperação que atendam aos objetivos acordados.
- Configure os controles de inicialização e reinicialização automática do processo suportado e teste seu comportamento.
- Use backups de implantação de serviço e retenção de trilha protegida por checkpoint. Inclua a recuperação do banco de dados de origem e destino no runbook.
Implantações principais e de mesmo nível
- Você pode criar pares locais ou entre regiões para aumentar a disponibilidade e minimizar o tempo de inatividade durante a manutenção planejada e interrupções não planejadas.
- Uma implantação principal pode ter uma implantação de mesmo nível. O stand-by sempre permanece no mesmo tamanho que o principal.
- Execute pré-verificações de pares e exercícios de recuperação. RPO (Recovery Point Objective) é zero. O RTO (Recovery Time Objective) depende do volume de dados armazenados na implantação. Quanto maior a utilização de armazenamento, maior o RTO.
- Para recuperação entre regiões, valide pontos finais do Caminho de Distribuição, certificados de armazenamento confiável, replicação de segredos, roteamento de conexão e inicialização de processo. Consulte Gerenciar implantações de pareamento para obter mais informações.
Backups e manutenção de implantação
- O serviço mantém backups automáticos diários por 12 dias e backups manuais até que você os exclua. O conteúdo de backup pode incluir somente metadados ou metadados e trilhas. Consulte Gerenciar backups de implantação para obter mais informações.
- Um backup de implantação não substitui backups de bancos de dados de origem e de destino nem a retenção de trilha ativa necessária. Teste a sequência de restauração em um ponto de recuperação consistente.
- Planeje a interrupção/reinicialização e o backlog associados às atualizações de implantação. Verifique os problemas conhecidos e as informações de manutenção específicas da implantação.
Linha de base de monitoramento e métricas
Estabeleça uma linha de base de monitoramento desde o primeiro dia. Acompanhe o consumo de serviços, o desempenho do processo, os recursos do banco de dados e a rota completa da origem ao destino continuamente para implantações de produção.
Métricas do OCI Monitoring
- Extrai: capturar atraso e estado do processo.
- Caminhos de Distribuição e Receptor: atraso e status.
- Replicats: aplicar atraso e estado do processo.
- Implantações: Utilização de OCPU, consumo de OCPU, utilização de memória e armazenamento.
- Aplicação: heartbeat lag.
Você pode verificar a lista completa de métricas disponíveis em Métricas de Replicação de Dados.
Configure alarmes no OCI Monitoring para falhas de processo, violações de atualização, progresso paralisado e previsão de exaustão de armazenamento. Os limites devem permitir tempo para resposta do operador. O serviço OCI Notifications entrega esses alarmes.
Inicializando critérios de validação de dimensionamento
Após a implantação e o teste de carga de trabalho representativo, valide o dimensionamento em relação aos objetivos do aplicativo. Defina limites de atraso numérico, recurso e catch-up para cada carga de trabalho, em vez de tratá-los como limites de serviço universal.
Uma implantação dimensionada corretamente deverá exibir:
- Frescura de ponta a ponta e atraso por processo dentro do objetivo acordado durante o pico de demanda normal e sustentado.
- Não há crescimento de backlog de trilha persistente e espaço retido suficiente durante a interrupção e recuperação planejadas.
- Comportamento de memória e espaço temporário que permanece estável por meio de grandes transações e atividades simultâneas.
- Não há erros de dados inexplicáveis, reinicializações de processos recorrentes ou descontinuações relacionadas a recursos.
- Recuperação de backlog dentro do prazo acordado enquanto novas alterações de fonte continuam.
- Testes bem-sucedidos de reinicialização, backup/restauração e recuperação entre pares, quando aplicável.
Inclua sobreposição de carga inicial, backups, manutenção e crescimento de previsão no teste. Registre as taxas atingidas, o pior atraso, o armazenamento retido, o tempo de recuperação, os resultados de consistência e as condições que exigem um novo exercício de dimensionamento.
Lista de verificação de pré-provisionamento
Conclua a lista de verificação a seguir antes de provisionar a implantação inicial do OCI GoldenGate. A coleta dessas informações com antecedência reduz os atrasos na implantação e o redimensionamento pós-implantação.
- Colete a taxa média e de pico de geração de redo log do BD de origem (por hora, por dia).
- Identifique tabelas replicadas, tamanhos de linhas, LOBs, maiores transações, filtragem e transformações.
- Determine as contagens de origem e destino, o posicionamento da implantação e as rotas LAN / WAN / entre nuvens.
- Confirme as combinações de ponto final e a tecnologia de implantação suportadas.
- Confirme o SLA de latência (requisito de atualização de dados) com o proprietário do aplicativo.
- Selecione as OCPUs base e o dimensionamento automático; registre as concessões de console e processo concorrente.
- Dimensione cada cópia de trilha retida, backlog de recuperação, reserva sem trilha e política de expurgação protegida por checkpoint.
- Valide a taxa de transferência de fio medida e a latência de rota durante a demanda normal, de pico e de recuperação.
- Meça o impacto suplementar do registro em log e valide a capacidade de aplicação de mineração de origem e destino.
- Defina privilégios de origem/destino, credenciais, políticas de acesso, DNS, roteamento e portas de listener necessárias.
- Escolha uma topologia de recuperação e confirme a disponibilidade de par, backup e build na nuvem selecionada.
- Planeje a carga inicial e um limite de sincronização consistente. Reter logs/trilhas por meio de atualização.
- Estabeleça monitoramento, alarmes, propriedade do operador e critérios representativos de aceitação de teste.
Isenção de responsabilidade
A Oracle baseou essas recomendações em padrões comuns de implantação e testes internos. Os requisitos reais de recursos podem variar dependendo das características da carga de trabalho, incluindo complexidade da transação, combinação de DML/DDL, latência de rede, desempenho do banco de dados de destino e configuração de log complementar.
Essas recomendações refletem características comuns de implantação nos ambientes do cliente Oracle GoldenGate e na experiência de engenharia interna da Oracle. Eles pretendem fornecer um ponto de partida prático para o planejamento de capacidade, em vez de um substituto para a validação de desempenho específica da carga de trabalho.
A Oracle Corporation e suas empresas afiliadas não fornecem garantias, expressas ou implícitas, com relação à precisão, à completude ou à adequação destas recomendações para um ambiente específico. Os clientes são responsáveis por validar todas as recomendações e dimensionar as orientações em relação às suas próprias cargas de trabalho de produção antes do go-live.