Utilizzo della utility LogDump per accedere ai record dei file trail
Le informazioni trail di Oracle GoldenGate sono necessarie per la risoluzione dei problemi e il supporto tecnico. Utilizzare la utility Logdump per visualizzare i record trail di Oracle GoldenGate.
Modalità recupero trail
Per impostazione predefinita, Extract opera in modalità di aggiunta, dove se c'è un errore di processo, un indicatore di recupero viene scritto sul trail e Extract aggiunge i dati di recupero al file in modo che una cronologia di tutti i dati precedenti venga conservata a scopo di recupero.
In modalità di aggiunta, l'inizializzazione Extract determina l'identità dell'ultima transazione completa scritta nel trail al momento dell'avvio. Con tali informazioni, Extract termina il recupero quando il record di commit per tale transazione viene rilevato nell'origine dati; quindi inizia la nuova acquisizione dei dati con la successiva transazione di cui è stato eseguito il commit che si qualifica per l'estrazione e inizia ad aggiungere i nuovi dati al trail. Un Replicat inizia a leggere di nuovo da quel punto di recupero.
La modalità di sovrascrittura è un'altra versione del recupero Extract utilizzata nelle versioni di Oracle GoldenGate precedenti alla versione 10.0. In queste versioni, Extract sovrascrive i dati delle transazioni esistenti nel trail dopo l'ultima posizione del checkpoint di scrittura, invece di aggiungere i nuovi dati. La prima transazione scritta è la prima che si qualifica per l'estrazione dopo l'ultima posizione di checkpoint di lettura nell'origine dati.
Se la versione di Oracle GoldenGate nella destinazione è precedente alla versione 10, Extract ripristinerà automaticamente la modalità di sovrascrittura per supportare la compatibilità con le versioni precedenti. Questo comportamento può essere controllato manualmente con il parametro RECOVERYOPTIONS.
Formato record trail
Ogni record di modifica scritto da Oracle GoldenGate in un file trail o Extract include un'area di intestazione, un'area dati ed eventualmente un'area del token utente. L'intestazione del record contiene informazioni sull'ambiente della transazione e l'area dati contiene i valori dati effettivi estratti.
L'area token contiene informazioni specificate dagli utenti di Oracle GoldenGate per l'uso nel mapping e nella conversione delle colonne.
I file trail di Oracle GoldenGate non sono strutturati. È possibile visualizzare i record Oracle GoldenGate con la utility Logdump fornita con il software Oracle GoldenGate. Per ulteriori informazioni, vedere Visualizzazione del primo record nel documento Logdump Reference for Oracle GoldenGate. Nota: poiché vengono apportati miglioramenti al software Oracle GoldenGate, il formato del record trail è soggetto a modifiche che potrebbero non essere riportate in questa documentazione. Per visualizzare la struttura corrente, utilizzare la utility Logdump.
Record intestazione file trail
Ogni file di un trail contiene un record di intestazione file memorizzato all'inizio del file. L'intestazione del file contiene informazioni sul file trail stesso. Le versioni precedenti di Oracle GoldenGate non contengono questa intestazione.
L'intestazione del file viene memorizzata come record all'inizio di un file trail che precede i record di dati. Le informazioni memorizzate nell'intestazione trail forniscono informazioni sufficienti sui record per abilitare un processo Oracle GoldenGate in modo da determinare se i record sono in un formato supportato dalla versione corrente di Oracle GoldenGate.
I campi dell'intestazione trail vengono memorizzati come token, in cui il formato del token rimane invariato in tutte le versioni di Oracle GoldenGate. Se una versione di Oracle GoldenGate non supporta alcun token specificato, tale token viene ignorato. Ai token distribuiti viene assegnato un valore predefinito per mantenere la compatibilità con le versioni precedenti di Oracle GoldenGate.
Per garantire la compatibilità in avanti e all'indietro dei file tra le diverse versioni del processo Oracle GoldenGate, i campi di intestazione del file vengono scritti in un formato token standardizzato. I nuovi token creati dalle nuove versioni di un processo possono essere ignorati dalle versioni precedenti, in modo da mantenere la compatibilità con le versioni precedenti. Allo stesso modo, le versioni più recenti di Oracle GoldenGate supportano token precedenti. Inoltre, se un token non è più valido per una nuova versione del processo, al token viene assegnato un valore predefinito in modo che le versioni precedenti possano ancora funzionare correttamente. Il token che specifica la versione del file è COMPATIBILITY e può essere visualizzato nella utility Logdump e anche recuperandolo con l'opzione GGFILEHEADER della funzione @GETENV.
Un file trail o Extract deve avere una versione uguale o inferiore a quella del processo che lo legge. Altrimenti il processo si interromperà. Inoltre, Oracle GoldenGate forza che il trail di output sia la stessa versione del trail o del file di input. Al riavvio, Extract sposta un trail in un nuovo file per assicurarsi che ogni file sia di una sola versione (a meno che il file non sia vuoto).
Da Oracle GoldenGate 21c in poi, per i database Oracle, è possibile specificare un nome univoco globale per il database utilizzando il parametro DB_UNIQUE_NAME. Se questo parametro di database non è impostato, DB_UNIQUE_NAME è uguale a DB_NAME. Questa funzione consente l'identificazione univoca dell'origine dei dati trail visualizzando l'intestazione del file trail.
Vedere il parametro [GETENV](/pls/topic/lookup?ctx=en/middleware/goldengate/core/21.3/admin&id=GWURF-GUID-B84527F5-91BA-4E2E-BC37-92D1B6C35735) per informazioni sull'uso del token DbUniqueName.
Il token DbUniqueName verrà scritto nei file di trail con livello di compatibilità 19.1. Tuttavia, le release precedenti di Oracle GoldenGate che supportano tale livello di compatibilità ignoreranno il nuovo token. Il token appartiene al gruppo di informazioni del database. Il campo sarà limitato a 65536 byte, per consentire il montaggio di tutti i valori possibili di DB_UNIQUE_NAME, limitati a 30 caratteri.
Poiché i processi Oracle GoldenGate vengono disaccoppiati e possono essere di versioni Oracle GoldenGate diverse, l'intestazione di file di ogni file trail contiene un indicatore di versione. Per impostazione predefinita, la versione di un file trail è la versione corrente del processo che ha creato il file. Se è necessario impostare la versione di un trail, utilizzare l'opzione FORMAT dei parametri EXTTRAIL, EXTFILE, RMTTRAIL o RMTFILE.
È possibile visualizzare l'intestazione trail con il comando FILEHEADER nella utility Logdump. Per ulteriori informazioni sui token nell'intestazione del file, vedere Logdump Reference for Oracle GoldenGate.
Record nome partizione nell'intestazione file trail
Ogni record DML nell'intestazione del file trail può contenere un indice per un record nome partizione (PNR). Poiché il nome completo della partizione può essere lungo, in ogni file trail viene creato un PNR per la prima volta che la partizione viene scritta. Ogni PNR contiene il nome della partizione e l'ID dell'oggetto partizione.
Per Extract primario, il PNR viene generato solo per la corrispondenza delle partizioni e incluso dai parametri PARTITION e PARTITIONEXCLUDE. I record DML di queste partizioni hanno un indice per il record di definizione della tabella e un altro indice per il record del nome della partizione. I record DML di tutte le altre tabelle, ad esempio le tabelle non partizionate o le tabelle partizionate non corrispondenti o escluse dai parametri PARTITION o PARTITIONEXCLUDE, hanno solo un indice per il record di definizione della tabella come fatto oggi. Per il servizio di distribuzione, il PNR viene scritto se il record trail di origine contiene un indice PNR.
Visualizzazione del nome della partizione e dell'indice PNR in Logdump
Utilizzare la utility Logdump per visualizzare il record del nome della partizione e il DML contenente l'indice PNR.
Ecco un esempio che mostra l'acquisizione della visualizzazione in un file:
$ logdump > output.txt <<EOF
ghdr on
detail data
open ./dirdat/tr000000000
n 200
EOFL'output visualizza il PNR e il DML con i valori dell'indice PNR, come mostrato nell'esempio seguente:
HDR-IND : E (X45) PARTITION : . (XFF80)
UNDOFLAG : . (X00) BEFOREAFTER: A (X41)
RECLENGTH : 0 (X0000) IO TIME : 2019/01/17 16:48:01.129.045
IOTYPE : 170 (XAA) ORIGNODE : 4 (X04)
TRANSIND : . (X03) FORMATTYPE : R (X52)
SYSKEYLEN : 0 (X00) INCOMPLETE : . (X00)
TDR/PNR IDX: (001, 002) AUDITPOS : 13287580
CONTINUED : N (X00) RECCOUNT : 1 (X01)
2019/01/17 16:48:01.129.045 METADATA LEN 0 RBA 3425
PARTITION NAME: P1 PARTITION ID: 75,234 FLAGS: X00000001
___________________________________________________________________
HDR-IND : E (X45) PARTITION : . (XFF8C)
UNDOFLAG : . (X00) BEFOREAFTER: A (X41)
RECLENGTH : 18 (X0012) IO TIME : 2019/01/17 16:47:58.000.000
IOTYPE : 5 (X05) ORIGNODE : 255 (XFF)
TRANSIND : . (X00) FORMATTYPE : R (X52)
SYSKEYLEN : 0 (X00) INCOMPLETE : . (X00)
AUDITRBA : 15 AUDITPOS : 13287580
CONTINUED : N (X00) RECCOUNT : 1 (X01)
2019/01/17 16:47:58.000.000 INSERT LEN 18 RBA 3486
NAME: TKGGU1.T1 (PARTITION: P1, TDR/PNR INDEX: 1/2)
AFTER IMAGE: PARTITION X8C G B
0000 0500 0000 0100 3101 0005 0000 0001 0031 | ........1........1
COLUMN 0 (X0000), LEN 5 (X0005)
0000 0100 31 | ....1
COLUMN 1 (X0001), LEN 5 (X0005)
0000 0100 31 | ....1Esempio di record Oracle GoldenGate
Di seguito è illustrato un record Oracle GoldenGate visualizzato con Logdump. La prima parte (l'elenco dei campi) è l'intestazione e la seconda parte è l'area dati. Il record è simile a questo su tutte le piattaforme supportate da Oracle GoldenGate. Figura 1: Esempio di record Oracle GoldenGate
Area intestazione record
L'intestazione del record Oracle GoldenGate fornisce i metadati dei dati contenuti nel record e include le informazioni riportate di seguito.
-
Tipo di operazione, ad esempio inserimento, aggiornamento o eliminazione
-
L'indicatore prima o dopo gli aggiornamenti
-
Informazioni sulla transazione, ad esempio gruppo di transazioni e indicatore orario commit
Descrizione dei campi intestazione
Di seguito vengono descritti i campi dell'intestazione del record Oracle GoldenGate. Alcuni campi si applicano solo a determinate piattaforme.
Tabella: campi di intestazione del record Oracle GoldenGate
| Campo | Descrizione |
|---|---|
|
Deve essere sempre un valore E, che indica che il record è stato creato dal processo di estrazione. Qualsiasi altro valore indica dati non validi. |
|
La lunghezza, in byte, del buffer di record. |
|
Il tipo di operazione rappresentato dal record. Per un elenco dei tipi di operazione, vedere la Tabella 12-*. |
|
Il luogo del record all'interno della transazione corrente. I valori sono i seguenti: 0 - primo record nella transazione 1 - né il primo né l'ultimo record nella transazione 2 - ultimo record nella transazione 3 - Registra solo nella transazione |
|
Identifica l'identificativo del log delle transazioni, ad esempio il numero di sequenza del redo log Oracle. |
|
(Windows e UNIX) Identifica se il record è un segmento di una parte di dati più grande troppo grande per rientrare in un record. LOB, CLOBS e alcuni VARCHAR sono memorizzati in segmenti. I record unificati che contengono sia prima che dopo le immagini in un singolo record (a causa del parametro Y: il record è un segmento; indica a Oracle GoldenGate che i dati continuano per un altro record. N - non c'è la continuazione dei dati ad un altro segmento; potrebbe essere l'ultimo di una serie o un record che non è un segmento di dati più grandi. |
|
Per i record Windows e UNIX, il valore di questo campo sarà sempre 4 (record compresso FieldComp in formato interno). Per queste piattaforme, il termine Partizione non indica che i dati rappresentano una particolare partizione logica o fisica all'interno della struttura del database. |
|
Indica se il record è un'immagine precedente (B) o successiva (A) di un'operazione di aggiornamento. I record che combinano le immagini prima e dopo come risultato del parametro UPDATERECORDFORMAT vengono contrassegnati come dopo le immagini. Gli inserti sono sempre dopo le immagini, le eliminazioni sono sempre prima delle immagini. |
|
Ora in cui si è verificata l'operazione, nell'ora locale del sistema di origine, in formato GMT. Questo tempo può essere lo stesso o diverso per ogni operazione in una transazione a seconda di quando si è verificata l'operazione. |
|
Identifica se i dati sono stati letti dal log delle transazioni o recuperati dal database.</p>F - recuperati dal database<p>R - leggibili nel log delle transazioni |
|
Questo campo è obsoleto. |
|
Identifica la posizione nel log delle transazioni dei dati. |
|
(Windows e UNIX) Utilizzato per i dati LOB quando devono essere suddivisi in blocchi da scrivere nel file Oracle GoldenGate. RecCount viene utilizzato per rimontare i pezzi. |
Uso dei dati di intestazione
Alcuni dati disponibili nell'intestazione del record Oracle GoldenGate possono essere utilizzati per il mapping utilizzando l'opzione GGHEADER della funzione @GETENV o utilizzando uno qualsiasi degli elementi transazione riportati di seguito come espressione di origine in un'istruzione COLMAP nel parametro TABLE o MAP.
-
GGS_TRANS_TIMESTAMP-
GGS_TRANS_RBA-
GGS_OP_TYPE-
GGS_BEFORE_AFTER_INDArea dati record
L'area dati del record trail di Oracle GoldenGate contiene gli elementi riportati di seguito.
-
Ora in cui è stato eseguito il commit della modifica nel database di origine
-
Il tipo di operazione del database
-
Lunghezza del record
-
Indirizzo byte relativo nel file trail
-
Nome della tabella
-
I dati cambiano in formato esadecimale
Di seguito vengono descritte le differenze nei formati delle immagini dei record utilizzati da Oracle GoldenGate sui sistemi Windows, UNIX, Linux e NonStop.
Formato immagine record completo (origini NonStop)
Un'immagine record completa contiene i valori di tutte le colonne di una riga elaborata. Il formato completo dell'immagine del record viene generato nel trail quando il sistema di origine è HP NonStop e solo quando il valore IOType specificato nell'intestazione del record è uno dei seguenti:
3 - Delete 5 - Insert 10 - UpdateOgni immagine di record completa ha lo stesso formato come se fosse recuperata da un programma che legge direttamente il file o la tabella originale. Per le tabelle SQL, i campi di data e ora, i valori nulli e altri dati vengono scritti esattamente come un programma selezionerebbe in un buffer dell'applicazione. Sebbene i campi di data e ora siano rappresentati internamente come indicatore orario a otto byte, la loro forma esterna può essere espressa in una stringa fino a 26 byte. I record Enscribe vengono recuperati poiché esistono nel file originale.
Quando il tipo di operazione è Insert o Update, l'immagine contiene il contenuto del record dopo l'operazione (l'immagine successiva). Quando il tipo di operazione è Delete, l'immagine contiene il contenuto del record prima dell'operazione (l'immagine precedente).
Per i record generati da un database Enscribe, vengono restituite immagini di record complete a meno che l'attributo AUDITCOMPRESS del file originale non sia impostato su ON. Quando AUDITCOMPRESS è ON, i record di aggiornamento compressi vengono generati ogni volta che il file originale riceve un'operazione di aggiornamento. (Un'immagine completa può essere recuperata dal processo Extract utilizzando il parametro FETCHCOMPS.)
Formato immagine record compresso (origini Windows, UNIX, Linux)
Un'immagine di record compresso contiene solo la chiave (primaria, univoca, KEYCOLS) e le colonne modificate nella riga elaborata. Per impostazione predefinita, i record trail scritti dai processi nei sistemi Windows e UNIX sono sempre compressi.
Il formato di un record compresso è il seguente:
column_index
column_length
column_data[...]Dove:
-
column_indexè l'indice ordinale della colonna all'interno della tabella di origine (2 byte).
-
colum_lengthè la lunghezza dei dati (2 byte).
-
column_datasono i dati, tra cui
NULLoppure
VARCHARindicatori di lunghezza.
È possibile comprimere i record scritti dalla piattaforma NonStop. Il formato di un record Enscribe compresso è il seguente:
field_offset
field_length field_value[...]Dove:
-
field_offsetè l'offset all'interno del record originale del valore modificato (2 byte).
-
field_lengthè la lunghezza dei dati (2 byte).
-
field_valuesono i dati, tra cui
NULLoppure
VARCHARindicatori di lunghezza.
Il primo campo di un record Enscribe compresso è la chiave primaria o di sistema.
Area token
Il record trail può inoltre contenere due aree per i token. Uno è per uso interno e non è documentato qui, e l'altro è l'area dei token utente. I token utente sono valori di ambiente acquisiti e memorizzati nel record trail per la replica nelle colonne di destinazione o per altri scopi. Se utilizzati, questi token seguono la parte di dati del record e appaiono simili ai seguenti se visualizzati con Logdump:
| Parametro | Valore |
|---|---|
TKN-HOST TKN-GROUP TKN-BA_IND TKN-COMMIT_TS TKN-POS TKN-RBA TKN-TABLE TKN-OPTYPE TKN-LENGTH TKN-TRAN_IND |
: syshq : EXTORA : AFTER : 2011-01-24 17:08:59.000000 : 3604496 : 4058 : SOURCE.CUSTOMER : INSERT : 57 : BEGIN |
Tipi di operazione di Oracle GoldenGate
Di seguito sono riportati alcuni tipi di operazione di Oracle GoldenGate. È possibile aggiungere tipi quando vengono aggiunte nuove funzionalità a Oracle GoldenGate. Per un elenco più aggiornato, utilizzare il comando SHOW RECTYPE nella utility Logdump:
| Tipo | Descrizione | Piattaforma |
|---|---|---|
| 1-Abort | Transazione interrotta. | NSK TMF |
| 2-Commit | Transazione impegnata. | NSK TMF |
| 3-Delete | Record/riga eliminati. Un record Delete in genere contiene un'immagine di record completa. Tuttavia, se è stato utilizzato il parametro COMPRESSDELETES, saranno presenti solo le colonne chiave. |
Tutto |
| 4-EndRollback | Rollback del database terminato | NSK TMF |
| 5-Insert | È stato inserito un record/riga. Un record Insert contiene un'immagine record completa. |
Tutto |
| 6-Prepared | È stata preparata una transazione in rete per il commit. | NSK TMF |
| 7-TMF-Chiusura | Si è verificato un arresto TMF. | NSK TMF |
| 8-TransBegin | Non più utilizzato. | NSK TMF |
| 9-TransRelease | Non più utilizzato. | NSK TMF |
| 10-Update | Record/riga aggiornati. Un record Update contiene un'immagine record completa. Nota: se l'indicatore di partizione nell'intestazione del record è 4, il record è in formato FieldComp (vedere di seguito) e l'aggiornamento viene compresso. |
Tutto |
| 11-UpdateComp | È stato aggiornato un record o una riga in formato TMF AuditComp. In questo formato sono presenti solo i byte modificati. Un descrittore a 4 byte nel formato 2-byte_offset2-byte_length precede ogni frammento di dati. L'offset byte è l'indice ordinale della colonna all'interno della tabella di origine. La lunghezza è la lunghezza dei dati. |
NSK TMF |
| 12-FileAlter | Un attributo di un file di database è stato modificato. | NSK |
| 13-FileCreate | È stato creato un file di database. | NSK |
| 14-FilePurge | Un file di database è stato eliminato. | NSK |
| 15-FieldComp | Una riga in una tabella SQL è stata aggiornata. In questo formato sono presenti solo i byte modificati. Prima che le immagini delle colonne invariate non vengano registrate dal database. Un descrittore a 4 byte nel formato 2-byte_offset2-byte_length precede ogni frammento di dati. L'offset byte è l'indice ordinale della colonna all'interno della tabella di origine. La lunghezza è la lunghezza dei dati. Un indicatore di partizione 4 nell'intestazione del record indica il formato FieldComp. |
Tutto |
| 16-FileRename | Un file è stato rinominato. | NSK |
| 17-AuxPointer | Contiene informazioni su quali percorsi AUX hanno nuovi dati e la posizione in cui leggere. | NSK TMF |
| 18-NetworkCommit | Commit di una transazione in rete eseguito. | NSK TMF |
| 19-NetworkAbort | Una transazione connessa alla rete è stata annullata. | NSK TMF |
| 90-(GGS)SQLCol | È stata aggiunta una o più colonne in una tabella SQL oppure è stato modificato un attributo. | NSK |
| 100-(GGS)Purgedata | Tutti i dati sono stati rimossi dal file (PURGEDATA). |
NSK |
| 101-(GGS)Rimuovi (file) | Un file è stato rimosso. | NSK non aTMF |
| 102-(GGS)Create(File) | È stato creato un file. Il record Oracle GoldenGate contiene gli attributi del file. | NSK non aTMF |
| 103-(GGS)Alter(File) | Un file è stato modificato. Il record Oracle GoldenGate contiene gli attributi di file modificati. | NSK non aTMF |
| 104-(GGS)Rinomina(File) | Un file è stato rinominato. Il record Oracle GoldenGate contiene i nomi originale e nuovo. | NSK non aTMF |
| 105-(GGS) | È stata eseguita un'operazione SETMODE. Il record Oracle GoldenGate contiene le informazioni SETMODE. |
NSK non aTMF |
| 106-GGSChangeLabel | È stata eseguita un'operazione CHANGELABEL. Il record Oracle GoldenGate contiene le informazioni CHANGELABEL. |
NSK non aTMF |
| Controllo 107-(GGS) | È stata eseguita un'operazione CONTROL. Il record Oracle GoldenGate contiene le informazioni CONTROL. |
NSK non aTMF |
115 e 117 (GGS)KeyFieldComp(32) |
Una chiave primaria è stata aggiornata. Il record Oracle GoldenGate contiene l'immagine precedente della chiave e l'immagine successiva della chiave e della riga. I dati sono in formato FieldComp (compresso), il che significa che prima che le immagini delle colonne invariate non vengono registrate dal database. |
Windows e UNIX |
116-LargeObject 116-LOB |
Identifica una colonna RAW, BLOB, CLOB o LOB. I dati di questo tipo vengono memorizzati in più record. |
Windows e UNIX |
| 132-(GGS) SequenceOp | Identifica un'operazione in una sequenza. | Windows e UNIX |
AGGIORNAMENTO 134-UNIFIED PKUPDATE 135 UNIFIED |
Identifica un record trail unificato che contiene valori precedenti e successivi nello stesso record. L'immagine precedente in un file UNIFIED UPDATE contiene tutte le colonne disponibili nel record transazione per le immagini prima e dopo. L'immagine precedente in un file UNIFIED UPDATE contiene tutte le colonne disponibili nel record transazione, ma l'immagine successiva è limitata alle colonne chiave primaria e alle colonne modificate nel file UPDATE. |
Windows e UNIX |
| 160 - DDL_Op | Identifica un'operazione DDL | Windows e UNIX |
161- RecordFragment |
Identifica la parte di una riga di grandi dimensioni che deve essere memorizzata in più record (più del solo record di base). | Windows e UNIX |
Blocco non strutturato 200-GGS 200-BulkIO |
È stata eseguita un'operazione BULKIO. Il record Oracle GoldenGate contiene il blocco RAW DP2. |
NSK non aTMF |
| 201 drill-through 204 | Si tratta di tipi diversi di record di trace NonStop. I record di trace vengono utilizzati dagli analisti del supporto di Oracle GoldenGate. Di seguito sono riportate le descrizioni.
|
NSK non aTMF |
| 205-GGSComment | Indica un record di commento creato dalla utility Logdump. I record di commento vengono creati da Logdump all'inizio e alla fine dei dati salvati in un file con il comando SAVE di Logdump. |
Tutto |
| 249 drill-through 254 | Si tratta di tipi diversi di record di trace NonStop. I record di trace vengono utilizzati dagli analisti del supporto di Oracle GoldenGate. Di seguito sono riportate le descrizioni.
|
NSK non-TM |