Elaborazione delle query Cloud SQL

Tipi di dati necessari per abilitare il pushdown dei predicati

Il pushdown dei predicati richiede la presenza di determinati mapping tra i tipi di dati Hive e i tipi di dati Oracle. Questi mapping sono descritti nella tabella riportata di seguito.

Cloud SQL può eseguire il push dell'elaborazione in Hadoop per i CLOB entro i seguenti vincoli di dimensione:

• Filtro per colonne CLOB fino a 1 MB di dimensione.

  La quantità effettiva di dati che è possibile utilizzare per la valutazione nello storage server può variare, a seconda del set di caratteri utilizzato.

• Analisi per colonne fino a 32 KB.

  Questo limite fa riferimento alla proiezione della lista di selezione dalla memoria per il tipo di dati CLOB.

L'elaborazione torna a Oracle Database solo quando le dimensioni delle colonne superano questi due valori.

Cinque statistiche XT cella chiave e indice di storage

Se una query è scaricabile, le seguenti statistiche relative a XT possono aiutarti a determinare il tipo di risparmio di I/O che puoi aspettarti dall'offload e da Smart Scan.

• granuli XT della cella richiesti per l'offload del predicato

  Il numero di granuli richiesti dipende da una serie di fattori, tra cui la dimensione del blocco HDFS, la suddivisione dell'origine dati Hadoop e l'efficacia dell'eliminazione della partizione Hive.

• byte del granulo XT della cella richiesti per l'offload del predicato

  Il numero di byte richiesti per la scansione. Questa è la dimensione dei dati su Hadoop da analizzare dopo l'eliminazione della partizione Hive e prima della valutazione dell'indice di storage.

• byte di interconnessione cellulare restituiti da XT Smart Scan

  Numero di byte di I/O restituiti da una scansione intelligente XT a Oracle Database.

• tentativi di offload del predicato granulo XT cella

  Il numero di volte in cui un processo Cloud SQL in esecuzione su un DataNode non è riuscito a completare l'azione richiesta. Cloud SQL riprova automaticamente le richieste non riuscite su altri DataNodes che dispongono di una replica dei dati. Il valore dei nuovi tentativi deve essere zero.

• byte di I/O del granulo XT della cella salvati dall'indice di storage

  Numero di byte filtrati in base agli indici di storage a livello di cella di storage. Si tratta di dati che non sono stati sottoposti a scansione, in base alle informazioni fornite dagli indici di memorizzazione.

È possibile controllare queste statistiche prima e dopo l'esecuzione delle query come indicato di seguito. In questo esempio vengono visualizzati i valori con valore nullo prima di eseguire qualsiasi query.

SQL> SELECT sn.name,ms.value 
FROM V$MYSTAT ms, V$STATNAME sn 
WHERE ms.STATISTIC#=sn.STATISTIC# AND sn.name LIKE '%XT%'; 

NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          0 
cell XT granule bytes requested for predicate offload     0
cell interconnect bytes returned by XT smart scan         0 
cell XT granule predicate offload retries                 0
cell XT granule IO bytes saved by storage index           0 

È possibile controllare alcune o tutte queste statistiche dopo l'esecuzione di una query per verificare l'efficacia della query, come in:

SQL> SELECT n.name, round(s.value/1024/1024) 
FROM v$mystat s, v$statname n
WHERE s.statistic# IN (462,463)
AND s.statistic# = n.statistic#;

cell XT granule bytes requested for predicate offload  32768
cell interconnect bytes returned by XT smart scan   32

Cinque statistiche offset aggregazione

Le statistiche riportate di seguito consentono di analizzare le prestazioni dell'offload dell'aggregazione.

• gruppo vettoriale per operazioni inviate alla cella

  Numero di volte in cui è possibile scaricare le aggregazioni nella cella.

• gruppo vettoriale per operazioni non inviate alla cella a causa della cardinalità

  Numero di scansioni non scaricate a causa di wireframe di grandi dimensioni.

• Raggruppa vettori per righe elaborate nella cella

  Il numero di righe aggregate nella cella.

• gruppo vettoriale per righe restituite dalla cella

  Numero di righe aggregate restituite dalla cella.

• vector group per rowset elaborati nella cella

  Numero di set di righe aggregati nella cella.

È possibile esaminare queste statistiche eseguendo le query come indicato di seguito.

SQL> SELECT count(*) FROM bdsql_parq.web_sales;

  COUNT(*)
----------
 287301291

SQL> SELECT substr(n.name, 0,60) name, u.value
FROM v$statname n, v$mystat u
WHERE ((n.name LIKE 'key vector%') OR
       (n.name LIKE 'vector group by%') OR
       (n.name LIKE 'vector encoded%') OR
       (n.name LIKE '%XT%') OR
       (n.name LIKE 'IM %' AND n.name NOT LIKE '%spare%'))
      AND u.sid=userenv('SID')
      AND n.STATISTIC# = u.STATISTIC#
      AND u.value > 0;


NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          808 
cell XT granule bytes requested for predicate offload     2.5833E+10
cell interconnect bytes returned by XT smart scan         6903552 
vector group by operations sent to cell                   1
vector group by rows processed on cell                    287301291
vector group by rows returned by cell                     808

Nove statistiche vettoriali chiave

Le seguenti statistiche consentono di analizzare l'efficacia dei vettori chiave inviati alla cella.

• vettori chiave inviati alla cella

  Numero di vettori chiave scaricati nella cella.

• vettore chiave filtrato sulla cella

  Numero di righe filtrate da un vettore chiave nella cella.

• vettore della chiave esaminato nella cella

  Numero di righe sottoposte a test da un vettore chiave nella cella.

• righe vettoriali delle chiavi elaborate dal valore

  Il numero di chiavi di join elaborate utilizzando il relativo valore.

• righe vettoriali delle chiavi elaborate dal codice

  Numero di chiavi di join elaborate utilizzando il codice del dizionario.

• righe vettoriali delle chiavi filtrate

  Numero di chiavi di join ignorate a causa dei bit saltati.

• serializzazioni vettoriali chiave in modalità lite per cella

  Numero di volte in cui un vettore chiave non è stato codificato a causa del formato o delle dimensioni.

• vettori chiave inviati alla cella in modalità lite a causa della quota

  Numero di vettori chiave scaricati nella cella per l'applicazione di filtri non esatti a causa della quota di metadati di 1 MB.

• efiltri vettoriali di chiavi creati

  Un vettore chiave non è stato inviato a una cella, ma è stato inviato un filtro efiltro (simile a un filtro Bloom).

È possibile esaminare queste statistiche eseguendo le query come indicato di seguito.

SELECT substr(n.name, 0,60) name, u.value
FROM v$statname n, v$mystat u
WHERE ((n.name LIKE 'key vector%') OR
       (n.name LIKE 'vector group by%') OR
       (n.name LIKE 'vector encoded%') OR
       (n.name LIKE '%XT%'))
      AND u.sid=userenv('SID')
      AND n.STATISTIC# = u.STATISTIC#


NAME                                                      VALUE
-----------------------------------------------------     -----
cell XT granules requested for predicate offload          250 
cell XT granule bytes requested for predicate offload     61,112,831,993
cell interconnect bytes returned by XT smart scan         193,282,128 
key vector rows processed by value                        14,156,958
key vector rows filtered                                  9,620,606
key vector filtered on cell                               273,144,333
key vector probed on cell                                 287,301,291
key vectors sent to cell                                  1
key vectors sent to cell in lite mode due to quota        1
key vector serializations in lite mode for cell           1
key vector efilters created                               1