Guida al dimensionamento e alla pianificazione della capacità OCI GoldenGate
Utilizza questa guida per pianificare le implementazioni di Data Replication gestite su Oracle Cloud Infrastructure (OCI), Microsoft Azure e Google Cloud.
Questo articolo fornisce le linee guida di base per il dimensionamento delle risorse e dei processi per le distribuzioni di replica dati GoldenGate OCI. Tu e i tuoi team di implementazione potete utilizzarlo come punto di partenza strutturato per selezionare la capacità di distribuzione e iniziare i test di configurazione e integrazione.
OCI GoldenGate è un servizio cloud Oracle gestito disponibile su OCI, Microsoft Azure e Google Cloud. È possibile selezionare la capacità di distribuzione e configurare i processi di replica. Oracle gestisce l'infrastruttura del servizio di base. Le risorse del database di origine, le prestazioni del database di destinazione, la connettività di rete e la configurazione di replica rimangono parte del piano della capacità end-to-end.
Questo articolo riguarda:
- Implementazioni di Data Replication gestite da OCI GoldenGate su OCI, Azure e Google Cloud.
- Origini e destinazioni relazionali Oracle Database e non Oracle supportate, utilizzando le tecnologie di distribuzione e le build disponibili nel cloud e nell'area selezionata.
- Capacità Extract, Distribution Path, Receiver Path e Replicat all'interno di ogni distribuzione gestita.
- Retention dei trail, backlog di ripristino, domanda della rete e convalida del dimensionamento rappresentativo della produzione.
Questo articolo non copre:
- Installazioni GoldenGate autogestite su server fisici, virtual machine o Kubernetes.
- Trasformazioni dei dati, verifica dei dati e analitica dei flussi, che richiedono modelli di capacità separati.
- Dimensionamento dell'hardware del database e progettazione dettagliata di architetture federate o attive-attive complesse.
Per le topologie ibride, dimensionare ogni componente in base al suo modello operativo. Un Extract gestito dal cliente richiede ancora capacità di host e database anche quando invia modifiche a OCI GoldenGate.
Nota: questo documento fornisce indicazioni sul dimensionamento baseline, ma non garantisce prestazioni, scalabilità o capacità. Il consumo effettivo delle risorse varia a seconda del volume delle transazioni, della dimensione delle transazioni, delle trasformazioni, della topologia, dei requisiti di latenza e delle prestazioni target. Completa un proof of concept utilizzando carichi di lavoro rappresentativi della produzione prima di eseguire l'implementazione in produzione.
Fornire spazio sufficiente durante i test iniziali. Le implementazioni sottodimensionate possono subire la pressione delle risorse, la crescita del trail, il ritardo della replica o l'instabilità dei processi. Monitorare la fase di limitazione prima di aumentare le risorse o il parallelismo.
Base per queste raccomandazioni
I suggerimenti di dimensionamento in questo documento non si basano su un singolo benchmark o carico di lavoro sintetico. GoldenGate elabora una vasta gamma di profili di transazione, modelli di dati e topologie di replica, quindi nessuna singola cifra di throughput può rappresentare tutti gli ambienti dei clienti.
Invece, le linee guida in questo documento riflettono una combinazione di:
- Attività di test delle prestazioni e convalida della scalabilità di Oracle Product Development
- Indagini di progettazione delle prestazioni e del supporto Oracle
- Pattern di implementazione osservati dalle implementazioni dei clienti
- Esperienza di consulenza e ingegneria sul campo Oracle
- Best practice operative dagli ambienti di produzione GoldenGate
Questi suggerimenti forniscono un punto di partenza pratico per il provisioning dell'infrastruttura e la pianificazione della distribuzione. I requisiti effettivi delle risorse dipendono dalle caratteristiche del carico di lavoro, tra cui volume delle transazioni, dimensioni delle transazioni, tassi di generazione di redo, requisiti di latenza, complessità della trasformazione, condizioni di rete e prestazioni del sistema di destinazione.
I clienti dovrebbero considerare questi suggerimenti come linee guida di base e convalidarli tramite test proof-of-concept e monitoraggio operativo prima della distribuzione della produzione.
Livelli di classificazione del carico di lavoro
Prima di selezionare un profilo di dimensionamento, classificare il carico di lavoro utilizzando la tabella riportata di seguito. Queste etichette descrivono la complessità della pianificazione e non mappano i tassi di redo o i conteggi delle tabelle a un requisito OCPU garantito. Quando la domanda varia, prova il periodo sostenuto più intenso e il carico di lavoro di recupero.
| Attributo | Piccolo | Medio | Grande | X-Large |
|---|---|---|---|---|
| Profilo carico di lavoro di destinazione | Sviluppo/assicurazione qualità o volume ridotto | OLTP reparto | OLTP/DW aziendale | Topologia ad alto volume o complessa |
| Redo medio all'ora (GB) | < 1 GB | DA 1 A 100 GB | DA 100-300 GB | > 300 GB |
| Ambito di replica | Ambito di origine e destinazione limitato | Diverse partizioni del carico di lavoro | Più origini o destinazioni | Concorrenza elevata o fan-out esteso |
| Enfasi dimensionamento | Convalida funzionale | Domanda sostenuta | Capacità di picco e recupero | Limiti del partizionamento e dell'errore |
Nota: le dimensioni del database, TPS (Transazioni al secondo) e del solo conteggio delle tabelle non sono predittori affidabili del consumo di risorse. Raccogli i byte redo/log di origine, le caratteristiche delle transazioni, i byte trail acquisiti e il traffico in rete separatamente. Per le origini Oracle, convalidare le misurazioni dei redo con il DBA ed evitare di conteggiare più volte copie di log archiviati o thread RAC duplicati.
Flusso di lavoro dimensionamento iniziale
-
Misurare il carico di lavoro di origine.
- Raccoglie il tasso di generazione dei redo.
- Comprendi le caratteristiche delle transazioni.
- Identificare il conteggio di origine e destinazione.
-
Selezionare un profilo del carico di lavoro.
- Utilizzare la tabella Livelli classificazione carico di lavoro per identificare i casi di test richiesti.
-
Creare risorse di replica dati.
- Selezionare le OCPU di base e il ridimensionamento automatico. Conferma il limite di cloud, region, build e storage.
-
Configurare GoldenGate.
- Configura i processi Extract, Distribution Path e Replicat supportati.
-
Stabilire una approvazione di monitoraggio.
- Acquisisci le OCPU consumate, la memoria, il ritardo dei processi e la crescita del trail fin dal primo giorno.
-
Convalida dimensionamento.
- Esecuzione di carichi di lavoro normali e sostenuti di picco, caricamento iniziale e recupero da interruzioni.
-
Adeguare le risorse in base alle esigenze.
- Modificare l'impostazione della risorsa di limitazione o del processo supportato e ripetere il test.
Calcolo e dimensionamento dello storage
OCI GoldenGate alloca le risorse alle distribuzioni gestite. Nella tabella seguente sono riepilogate le configurazioni di base di esempio e il modello di allocazione documentato. I valori di sviluppo e produzione sono una guida alla pianificazione iniziale. I valori più grandi sono esempi di configurazione anziché suggerimenti sul livello del carico di lavoro.
Filosofia dimensionale:
- Iniziare con la baseline del servizio e i requisiti del processo concorrente, quindi convalidare la domanda effettiva.
- Offri spazio per i picchi, le transazioni di grandi dimensioni, la manutenzione e il recupero mentre le modifiche all'origine continuano.
- Ridimensiona ogni implementazione in modo indipendente e conserva piani di capacità del database di origine e di database di destinazione separati.
| Risorsa | Sviluppo/test | Inizio produzione | Esempio più grande | Base massima |
|---|---|---|---|---|
| OCPU di base | 1 | 4 | 8 | 24 |
| Allocazione memoria di base | 16 GB | 64 GB | 128 GB | 384 GB |
| Allocazione rete base | 1 Gbps | 4 Gbps | 8 Gbps | 24 Gbps |
| Storage (Trails, altri file) | 500 GB | 2 TB | 4 TB | 12 TB |
Guida OCPU
- Oracle consiglia di iniziare con 1 OCPU per sviluppo/test e 4 OCPU per la produzione. Abilita il ridimensionamento automatico se necessario per gestire i carichi di lavoro di picco. È inoltre possibile eseguire manualmente la scalabilità delle distribuzioni.
- Il ridimensionamento automatico può utilizzare fino a tre volte le OCPU di base, con un limite di 24 OCPU. Test della domanda sostenuta e del recupero alla configurazione selezionata.
- Inizia con 1 OCPU per ogni percorso di estrazione, replica o distribuzione concorrente come guida alla pianificazione dei processi. Regolare il conteggio di OCPU durante i test.
- La domanda della CPU di estrazione varia a seconda delle modifiche acquisite, delle caratteristiche delle transazioni, dei filtri, delle trasformazioni e del mining di origine.
- Oracle consiglia inoltre di allocare 1 OCPU per l'interfaccia utente.
Guida alla memoria
- L'allocazione del servizio è di 16 GB di memoria per OCPU. Convalida la pressione della memoria insieme alla domanda consumata di computazione e spazio temporaneo.
- I requisiti di memoria dipendono da dati transazionali non impegnati, transazioni con tempi di esecuzione lunghi, LOB, processi concorrenti e attività di fuoriuscita. Fornire spazio fino a quando i test rappresentativi non stabiliscono la domanda.
- Per impostazione predefinita, ogni gestore di Big Data utilizza in genere 8 GB di memoria. Assicurarsi che le impostazioni dell'heap
jvm.bootoptions(-Xmxe-Xms) siano dimensionate in modo appropriato per evitare erroriOutOfMemorydurante il picco di carico. CACHEMGRè autoconfigurato e autoregolato internamente. Mantieni le impostazioni predefinite e consulta il Supporto Oracle prima di modificare i controlli delle dimensioni della cache.- Integrated Extract utilizza il server di logmining del database di origine e il pool dei flussi. L'aumento delle OCPU del servizio non aumenta la capacità SGA di origine.
- Database Parallel Replicat utilizza mapper, Master e Applier. Valuta la memoria del database di destinazione e del processo anziché applicare una stima JVM-heap-per-thread generica.
Guida per lo storage e l'I/O
- L'implementazione di storage e file system è gestita dal servizio. I clienti pianificano la capacità di conservazione e recupero anziché selezionare i tipi di disco, i punti di attivazione o le operazioni IOPS.
- Contare ogni copia di trail fisico all'interno di ogni distribuzione e riservare spazio per report, file di scarto, fuoriuscita temporanea, file operativi e requisiti relativi al backup, se applicabile.
- Tenere presente che i percorsi di caricamento iniziali tendono a consumare più spazio di storage rispetto ai percorsi normali.
Criterio di conservazione trail
Basa la retention dei trail sugli obiettivi di recupero aziendale, sulle procedure operative e sulla durata massima di interruzione prevista dei sistemi a valle. La finestra richiesta deve riguardare anche il riavvio, il recupero, la risposta dell'operatore e qualsiasi ulteriore requisito di ripetizione.
Esempio di avvio delle destinazioni di conservazione:
| Tipo di distribuzione | Conservazione trail consigliata |
|---|---|
| Sviluppo / QA | 4-8 ore |
| Produzione (obiettivo singolo) | 24 ore |
| Produzione (carichi di lavoro critici) | 48-72 ore |
| Implementazioni tra più aree/WAN | 72ore o più |
- Mantieni abilitata la protezione dei checkpoint per i live trail e convalida tutti i consumer Extract, Distribution, Receiver e Replicat.
- Un task di rimozione elimina i file idonei.
- Confermare la conservazione dei log di origine e la conservazione dei trail in modo che l'acquisizione possa riavviarsi nella posizione richiesta.
Questi sono esempi di destinazioni iniziali. La finestra selezionata deve coprire la procedura di ripristino effettiva e rientrare nel limite di storage di distribuzione confermato.
Calcolo storage trail
Quando si ridimensiona lo storage trail, tenere conto di quanto riportato di seguito.
- Percentuale massima generazione trail x periodo di conservazione x fattore di sicurezza
- Oracle consiglia di applicare un fattore di sicurezza minimo di almeno 1.5x per soddisfare picchi di carico di lavoro, finestre di manutenzione e interruzioni di destinazione impreviste.
- Non rimuovere i file trail solo in base all'età. Rimuove i file solo dopo che tutti i processi Replicat a valle hanno elaborato correttamente i dati trail richiesti e le loro posizioni di checkpoint sono avanzate oltre i file che si prevede di rimuovere.
- Per gli ambienti business-critical, la conservazione deve essere sufficiente per consentire il recupero dalle attività di manutenzione pianificate, dalle interruzioni del database di destinazione, dalle interruzioni della rete e dalle indagini di risoluzione dei problemi senza richiedere il riposizionamento o la creazione di istanze di Extract dei sistemi di destinazione.
Utilizzare la formula seguente:
Required Trail Storage = Peak Trail GB/hour x Retention Hours x Safety Factor
Esempio: 100 GB/ora x 24 ore x 1,5 = 3.600 GB (3,6 TB)
Il fattore di sicurezza è una baseline di pianificazione, non una regola di allocazione del servizio gestito. Utilizzare i byte di generazione trail misurati per ogni copia trail locale, aggiungere la riserva non trail e includere l'interruzione, il riavvio, il recupero e l'intervallo di risposta completi senza contare due volte gli stessi dati.
Nota: l'esempio illustra il calcolo e non è un suggerimento per la capacità di distribuzione singola. Convalida della conservazione e del partizionamento del carico di lavoro rispetto alla capacità confermata di ciascuna distribuzione.
GoldenGate suggerimenti sul conteggio dei processi
La tabella seguente fornisce conteggi di processi consigliati per ogni distribuzione di replica dati GoldenGate OCI per ogni livello di carico di lavoro. Questi conteggi presuppongono un pattern di distribuzione a più destinazioni a origine singola. Per le configurazioni multi-origine, moltiplicare il conteggio Extract per il numero di database di origine e adeguare il conteggio OCPU di conseguenza.
| Processo GG | Piccolo | Medio | Grande | X-Large |
|---|---|---|---|---|
| Estrai (integrato) | 1 | 1-2 | 1-2 | 2-4 |
| Percorsi di distribuzione | 1-2 | 2-4 | 4-8 | 8-16 |
| Replicat (Classico) | 1-2 | 2-5 | 5-15 | 15-30 |
| Replicat (parallelo) | 1 | 1-2 | 2-4 | 4-8 |
| Replicat (coordinato) | 1-2 | 2-5 | Da 5 a 10 | 10-0 |
| Numero massimo processi concorrenti | 2-4 | 8-14 | 16-34 | 36-70 |
Per più origini, tenere conto di ciascun ambito di acquisizione supportato e adeguare il calcolo di conseguenza. Applicare la console e il consenso al processo concorrente nelle linee guida OCPU, quindi convalidare la memoria, la capacità di destinazione e il picco di domanda. Partizionare il carico di lavoro tra le distribuzioni quando una distribuzione non è in grado di soddisfare i requisiti testati.
Estrai linee guida processo
- Iniziare con un'estrazione integrata per ogni ambito di acquisizione dell'origine supportato. Per le origini CDB/PDB, utilizzare la configurazione di acquisizione supportata dalla build e dal database di distribuzione selezionati.
- Introdurre estrazioni aggiuntive solo per una partizione del carico di lavoro valida o per un collo di bottiglia di acquisizione misurato. Test del sovraccarico di mining, risorse del database di origine, coerenza delle transazioni e ripristino.
- Una singola estrazione può scrivere in più file trail. Ciò consente a una singola estrazione di alimentare più destinazioni o dividere un carico di lavoro di grandi dimensioni in più trail che possono essere elaborati da più repliche.
- Confermare le limitazioni della piattaforma prima di utilizzare più trail. Ad esempio, MySQL Extract con il posizionamento del set GTID supporta solo un trail.
Linee guida del servizio di distribuzione
- Un singolo servizio di distribuzione può supportare più percorsi concorrenti. Configurare un percorso per ogni percorso di trasferimento trail richiesto e tenere conto del traffico fan-out e di ogni consumer a valle.
- Per la distribuzione WAN, rivedere il buffer di percorso supportato e le impostazioni di flush TCP per compensare la latenza di rete. Modificare le impostazioni solo dopo che il test del percorso ha dimostrato il vincolo.
Linee guida del processo Replicat
- Selezionare il Replicat giusto per il carico di lavoro. Ad esempio, vedere Tipi di Replicat per i database Oracle.
- Oracle consiglia Parallel Non-Integrated Replicat per i database Oracle e Parallel Replicat per tutte le altre piattaforme GoldenGate che lo supportano.
- Classic Replicat viene applicato in serie e si adatta allo sviluppo, agli scenari DR con carichi di lavoro leggeri e alle destinazioni non Oracle prive di supporto di applicazione parallelo.
- Un coordinatore gestisce i più thread di applicazione di un Replicat coordinato, rendendo questo Replicat adatto per carichi di lavoro OLTP strutturati che richiedono il monitoraggio delle dipendenze.
- Assegnare un gruppo Replicat per schema di destinazione o partizione del carico di lavoro logico per massimizzare il parallelismo e isolare i domini di errore.
Esame OCPU
- Replicat parallelo richiede in genere risorse OCPU aggiuntive all'aumentare del parallelismo.
- Integrated Replicat esegue l'applicazione parallela all'interno dell'Oracle Database di destinazione, quindi includi le risorse del database di destinazione nella pianificazione della capacità.
Guida alla topologia di disaster recovery
OCI GoldenGate gestisce l'infrastruttura del servizio. Seleziona una topologia di ripristino gestito in base agli obiettivi di ripristino aziendale e alla disponibilità delle funzioni nel cloud e nell'area geografica scelti. Database, rete, replica e ripristino delle applicazioni rimangono parte della progettazione completa.
Distribuzione singola
- Adatto come implementazione iniziale per sviluppo, garanzia della qualità, piloti e carichi di lavoro con procedure di recupero che soddisfano gli obiettivi concordati.
- Configura i controlli di avvio e riavvio automatici dei processi supportati e ne verifica il funzionamento.
- Utilizza i backup della distribuzione dei servizi e la conservazione dei trail protetta da checkpoint. Include il recupero del database di origine e di destinazione nel runbook.
Distribuzioni primarie e peer
- Puoi creare peer locali o tra più aree per aumentare la disponibilità e ridurre al minimo i tempi di inattività durante la manutenzione pianificata e le indisponibilità non pianificate.
- Una distribuzione primaria può avere una distribuzione peer. Lo standby rimane sempre delle stesse dimensioni del database primario.
- Eseguire i controlli preliminari peer ed esercizi di recupero. RPO (Recovery Point Objective) è zero. RTO (Recovery Time Objective) dipende dalla quantità di dati memorizzati nella distribuzione. Maggiore è l'utilizzo dello storage e maggiore è l'RTO.
- Per il recupero tra più aree, convalidare gli endpoint del percorso di distribuzione, i certificati truststore, la replica dei segreti, l'instradamento della connessione e l'avvio dei processi. Per ulteriori informazioni, vedere Gestisci distribuzioni peer.
Backup e manutenzione della distribuzione
- Il servizio conserva i backup automatici giornalieri per 12 giorni e i backup manuali fino a quando non vengono eliminati. Il contenuto del backup può includere solo metadati o metadati e trail. Per ulteriori informazioni, vedere Gestisci backup di distribuzione.
- Un backup della distribuzione non sostituisce i backup del database di origine e di destinazione o la conservazione live trail richiesta. Eseguire il test della sequenza di ripristino in un punto di ripristino coerente.
- Pianificare l'arresto/riavvio e il backlog associati agli aggiornamenti della distribuzione. Rivedere i problemi noti e le informazioni sulla manutenzione specifiche della distribuzione.
Baseline di monitoraggio e metriche
Stabilire una baseline di monitoraggio dal primo giorno. Monitora continuamente il consumo del servizio, le prestazioni dei processi, le risorse del database e il percorso completo da origine a destinazione per le distribuzioni di produzione.
Metriche di monitoraggio OCI
- Estrazioni: cattura ritardo e stato del processo.
- Percorsi distribuzione e ricevente: ritardo e stato.
- Replicat: applica ritardo e stato del processo.
- Distribuzioni: utilizzo della OCPU, consumo della OCPU, utilizzo della memoria e dello storage.
- Applicazione: ritardo heartbeat.
È possibile rivedere la lista completa delle metriche disponibili in Metriche di replica dati.
Configura gli allarmi in OCI Monitoring per errori di processo, violazioni di freschezza, avanzamento in stallo e esaurimento dello storage previsto. Le soglie devono consentire il tempo per la risposta dell'operatore. Il servizio OCI Notifications fornisce questi allarmi.
Criteri di convalida dimensionamento iniziale
Dopo il test della distribuzione e del carico di lavoro rappresentativo, convalidare il dimensionamento rispetto agli obiettivi dell'applicazione. Definisci ritardi numerici, risorse e soglie di recupero per ogni carico di lavoro invece di trattarli come limiti del servizio universale.
Una distribuzione di dimensioni adeguate dovrebbe presentare:
- Freschezza end-to-end e ritardo per processo all'interno dell'obiettivo concordato durante la domanda di picco normale e sostenuta.
- Nessuna crescita persistente del backlog dei trail e spazio sufficiente mantenuto durante l'interruzione e il recupero pianificati.
- Memoria e comportamento dello spazio temporaneo che rimane stabile attraverso grandi transazioni e attività simultanee.
- Nessun errore di dati inspiegabile, riavvio di processi ricorrenti o interruzioni correlate alle risorse.
- Recupero backlog entro la scadenza concordata mentre continuano le nuove modifiche all'origine.
- Riavvio, backup/ripristino e test di ripristino peer, ove applicabile.
Includi sovrapposizioni del carico iniziale, backup, manutenzione e crescita prevista nel test. Registra i tassi raggiunti, il peggior ritardo, lo storage conservato, i tempi di ripristino, i risultati di coerenza e le condizioni che richiedono un nuovo esercizio di dimensionamento.
Elenco di controllo pre-provisioning
Completare la lista di controllo riportata di seguito prima di eseguire il provisioning della distribuzione OCI GoldenGate iniziale. La raccolta anticipata di queste informazioni riduce i ritardi di implementazione e il ridimensionamento successivo alla distribuzione.
- Raccoglie la velocità di generazione massima e media dei redo log dal DB di origine (all'ora, al giorno).
- Identifica le tabelle replicate, le dimensioni delle righe, i LOB, le transazioni più grandi, i filtri e le trasformazioni.
- Determina i conteggi di origine e destinazione, il posizionamento della distribuzione e gli instradamenti LAN/WAN/cross-cloud.
- Confermare le combinazioni di endpoint supportati e la tecnologia di distribuzione.
- Confermare lo SLA di latenza (requisito di freschezza dei dati) con il proprietario dell'applicazione.
- Selezionare le OCPU di base e il ridimensionamento automatico; registrare le autorizzazioni della console e dei processi concorrenti.
- Ridimensiona ogni copia trail conservata, backlog di recupero, riserva non trail e criterio di rimozione protetto da checkpoint.
- Convalida il throughput dei cavi misurato e la latenza di instradamento durante la domanda normale, di picco e di recupero.
- Misura l'impatto del log supplementare e convalida il mining di origine e la capacità di applicazione target.
- Definire i privilegi di origine/destinazione, le credenziali, i criteri di accesso, il DNS, l'instradamento e le porte listener necessarie.
- Scegli una topologia di ripristino e conferma la disponibilità di peer, backup e build nel cloud selezionato.
- Pianificare il caricamento iniziale e un limite di sincronizzazione coerente. Conserva i log/trails attraverso il recupero.
- Stabilire criteri di monitoraggio, allarmi, proprietà dell'operatore e accettazione dei test rappresentativi.
Dichiarazione di non responsabilità
Oracle ha basato queste raccomandazioni su modelli di distribuzione e test interni comuni. I requisiti effettivi delle risorse possono variare in base alle caratteristiche del carico di lavoro, tra cui complessità delle transazioni, combinazione DML/DDL, latenza di rete, prestazioni del database di destinazione e configurazione di registrazione supplementare.
Questi suggerimenti riflettono le caratteristiche di distribuzione comuni negli ambienti dei clienti di Oracle GoldenGate e nell'esperienza di progettazione interna di Oracle. Intendono fornire un punto di partenza pratico per la pianificazione della capacità piuttosto che un sostituto per la convalida delle prestazioni specifiche del carico di lavoro.
Oracle Corporation e le sue consociate non rilasciano alcuna garanzia, esplicita o implicita, relativa all'accuratezza, alla completezza o all'idoneità di queste raccomandazioni per un ambiente specifico. I clienti sono responsabili della convalida di tutti i suggerimenti e delle linee guida sul dimensionamento rispetto ai carichi di lavoro di produzione prima del go-live.