Utilizzare gli strumenti di migrazione per spostare i dati nei servizi di storage cloud OCI

Introduzione

Questa è l'esercitazione 1 di una serie di quattro esercitazioni che illustra vari modi per eseguire la migrazione dei dati nei servizi di storage cloud Oracle Cloud Infrastructure (OCI). La serie è impostata in modo da poter rivedere questa prima esercitazione per ottenere una comprensione generale dei vari strumenti e quindi procedere alle esercitazioni o ai documenti correlati pertinenti alle esigenze di migrazione.

OCI offre ai clienti opzioni di computazione a elevate prestazioni e storage cloud a basso costo. Attraverso lo storage locale, degli oggetti, dei file, dei blocchi e degli archivi on-demand, Oracle soddisfa i requisiti chiave del carico di lavoro dello storage e i casi d'uso.

I servizi di storage cloud OCI offrono opzioni di storage cloud veloci, sicure e durature per tutte le tue esigenze aziendali. A partire dalle opzioni a elevate prestazioni come OCI File Storage con il servizio Lustre e OCI Block Volumes, i file system di scalabilità exabyte completamente gestiti dal servizio OCI File Storage con destinazioni di MOUNT ad alte prestazioni e allo storage degli oggetti OCI altamente durevole e scalabile. Le nostre soluzioni possono soddisfare le tue esigenze, dalle applicazioni a uso intensivo di prestazioni come i carichi di lavoro AI/ML AI data lake su scala exabyte.

Molti clienti trovano la necessità di trasferire i dati nel servizio di storage cloud OCI da on-premise, da un altro provider o tra i servizi di storage cloud OCI. In base all'origine, alla destinazione e alla direzione del trasferimento dei dati, il metodo migliore per eseguire la migrazione può variare. Una volta identificate le nozioni di base dell'origine dati e della destinazione in OCI, dovrai quindi decidere un percorso di migrazione e quali strumenti dovrai utilizzare. Lascia che la nostra esperienza pratica ti guidi verso lo strumento di migrazione giusto e come usarlo. Questo tutorial 1 di una serie per introdurvi a vari strumenti e dove potrebbero adattarsi meglio al processo di migrazione.

Determina la quantità di dati di cui deve essere eseguita la migrazione e i tempi di inattività disponibili per eseguire il cut-over alla nuova piattaforma di storage OCI. Le migrazioni in batch sono una buona scelta per suddividere la migrazione in incrementi gestibili. Le migrazioni in batch consentono di pianificare i tempi di inattività per applicazioni specifiche in finestre diverse. Alcuni clienti hanno la flessibilità di eseguire una migrazione una tantum in una finestra di manutenzione pianificata nell'arco di 2-4 giorni. OCI FastConnect può essere utilizzato per creare una connessione dedicata e privata tra OCI e il tuo ambiente, con velocità di porta da 1G a 400G per accelerare il processo di trasferimento dei dati. OCI FastConnect può essere integrato con soluzioni partner come Megaport e ConsoleConnect per creare una connessione privata al tuo data center o all'interconnessione cloud-to-cloud per spostare i dati più direttamente da un altro fornitore cloud al servizio di storage cloud OCI. Per ulteriori informazioni, vedere FastConnect integration con Megaport Cloud Router.

Destinatari

DevOps ingegneri, sviluppatori, amministratori e utenti dello storage cloud OCI, responsabili IT, utenti avanzati OCI e amministratori delle applicazioni.

Obiettivi

Scopri come utilizzare vari strumenti per copiare e sincronizzare i dati nei servizi di storage cloud OCI:

Prerequisiti

Strumenti di migrazione

La nostra customer experience e i nostri test possono aiutarti a individuare lo strumento di migrazione più adatto al tuo scenario. Si consiglia di eseguire un proof of concept e test su set di dati di esempio per verificare il metodo di migrazione migliore per il set di dati. Esploreremo gli strumenti di migrazione comuni disponibili per eseguire la migrazione dei dati da on-premise e altri provider cloud a OCI o all'interno dei servizi di storage cloud OCI. I risultati dei test vengono condivisi da set di dati di esempio in modo da poter estrapolare le prestazioni degli strumenti sul set di dati.

Lo strumento giusto per il lavoro

Ci sono molti strumenti tra cui scegliere quando si esegue una migrazione e può essere schiacciante ricercarli tutti contemporaneamente. In base all'origine, alla destinazione, alla direzione della migrazione, all'esperienza utente e all'ambiente utente, lo strumento di migrazione migliore varierà.

La tabella seguente fornisce suggerimenti per scenari di migrazione comuni, tra cui la migrazione di dati on-premise, la migrazione di dati da un altro fornitore cloud in OCI, la copia di dati di storage cloud OCI da un'area all'altra, la copia di dati di storage cloud OCI all'interno di un'area e la copia di dati di storage di file OCI nello storage di oggetti OCI.

Esegui migrazione dati da Esegui migrazione dati in Strumenti consigliati Note Collegamenti a Documentazione/Esercitazione
File system in locale Memorizzazione degli oggetti OCI 1. s5cmd (file piccoli/miscelati)
2. Sincronizzazione dello storage degli oggetti OCI (pochi file di grandi dimensioni)
3. Rclone (misto)
4. Resilio Attivo Ovunque		 Usa lo strumento migliore per le tue strutture di dati e ti senti a tuo agio nell'utilizzarlo. È necessario esaminare FastConnect per migliorare i tempi di trasferimento. S5cmd ed esercitazione sulla sincronizzazione di Object Storage,
Esercitazione sulla copia,
Resilio Active Anywhere
Altro storage BLOB o oggetto fornitore cloud Memorizzazione degli oggetti OCI 1. Flexify IO
2. Duplica		 Utilizzare Flexify IO per i fornitori compatibili con S3 e quando si desidera un'interfaccia GUI supportata.
Utilizza Rclone quando ti senti a tuo agio sperimentando e attivando varie impostazioni e per il supporto più compatibile con oltre 70 diversi fornitori di cloud (archiviazione degli oggetti compatibile con S3 e non compatibile con S3).		 Flessifica migrazione IO tra cloud, Esercitazione sulla copia
Memorizzazione degli oggetti OCI Storage degli oggetti OCI in un'altra area 1. Replica degli oggetti
2. Copia di massa API Python di storage degli oggetti OCI
3. Flexify IO
4. Duplica		 L'uso della replica degli oggetti nativa è utile per una replica esatta di un nuovo bucket attualmente vuoto. Utilizzare l'API Python di copia di massa di OCI Object Storage, Flexify IO o Rclone per inizializzare le copie di un bucket di origine che contiene già oggetti o quando si desidera conservare gli oggetti nella destinazione. Documentazione sulla replica dello storage degli oggetti,
Usa le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni in blocco,
Flexify IO,
Esercitazione sulla copia
Memorizzazione degli oggetti OCI Storage degli oggetti OCI in un'altra tenancy (stessa o area diversa) 1. Copia di massa API Python di storage degli oggetti OCI
2. Flexify IO
3. Duplica		 Prerequisiti per l'API Python di copia di massa dello storage degli oggetti OCI: utilizzare i criteri IAM tra tenancy per abilitare le copie tra tenancy. Per ulteriori informazioni, vedere Accesso alle risorse di storage degli oggetti nelle tenancy. Usa le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni in blocco,
Flexify IO,
Esercitazione sulla copia
OCI File Storage Memorizzazione degli oggetti OCI 1. s5cmd (file piccoli/miscelati)
2. Sincronizzazione dello storage degli oggetti (pochi file di grandi dimensioni)
3. Rclone (misto)
4. Resilio Attivo Ovunque		 Usa lo strumento migliore per le tue strutture di dati e ti senti a tuo agio nell'utilizzarlo. S5cmd ed esercitazione sulla sincronizzazione di Object Storage,
Esercitazione sulla copia,
Resilio Active Anywhere
File system in locale OCI File Storage 1. fpsync (Linux) e CIFS + fpsync (Windows)
2. Resilio Attivo Ovunque		 Assicurarsi che venga stabilita la connettività di rete tra le istanze di origine e di destinazione. Documentazione di Fpsync,
esercitazione su fpsync,
Resilio Active Anywhere
Un altro disco locale o storage di file del fornitore cloud OCI File Storage 1. fpsync (Linux) e CIFS + fpsync (Windows)
2. Resilio Attivo Ovunque		 Assicurarsi che venga stabilita la connettività di rete tra le istanze di origine e di destinazione. È necessario esaminare FastConnect per migliorare i tempi di trasferimento. Documentazione di Fpsync,
esercitazione su fpsync,
Resilio Active Anywhere
OCI File Storage Storage di file OCI in un'altra area 1. Replica del file system
2. fpsync con streaming da istanza a istanza
3. Resilio Attivo Ovunque		 Se si utilizza la replica, vedere Limitazioni e considerazioni della replica o se si utilizza lo streaming da istanza a istanza, assicurarsi che la connettività di rete venga stabilita tra le istanze di origine e di destinazione. Documentazione di Fpsync,
esercitazione su fpsync,
Documentazione sulla replica del file system,
Resilio attivo ovunque
OCI File Storage Storage di file OCI all'interno dello stesso dominio di disponibilità 1. Replica dei file system
2 Utilizzo di File Storage Parallel Tools: parcp
3. Resilio Attivo Ovunque		 Se si utilizza la replica, vedere Limitazioni e considerazioni della replica o se si utilizza parcp, assicurarsi che sia i file system di origine che quelli di destinazione vengano attivati nell'istanza. Replica del file system,
Uso degli strumenti paralleli di storage di file: parcp,
Resilio Active Anywhere
On-premise, un altro fornitore cloud Storage degli oggetti OCI o storage di file OCI Piattaforma Resilio Active Anywhere Utilizza la piattaforma Resilio Active Anywhere quando hai bisogno di sincronizzazione multi-way dei dati, servizio di guanti bianchi con supporto e interfaccia GUI. Resilio è stato verificato dal team di prodotti del servizio di storage cloud OCI ed è disponibile in Oracle Cloud Marketplace. Per ulteriori informazioni sull'utilizzo della piattaforma, contatta il team di Resilio.

Nota: la serie di strumenti di migrazione non riguarderà OCI Object Storage o OCI File System Replication, OCI Object Storage Bulk Copy Python API, Flexify e Resilio. Per ulteriori informazioni, vedere Collegamenti correlati.

Passi successivi

Procedere all'esercitazione o alle esercitazioni correlate pertinenti alle esigenze di migrazione. Per spostare i dati nei servizi di storage cloud OCI:

(Opzionale) Ambienti di test

I suggerimenti sono fatti sulla base di test e interazioni con i clienti.

Ambiente di test 1:

1 istanza VM VM.Standard.E4.Flex, 1 OCPU, larghezza di banda di rete 1Gbps, 16 GB di memoria. Per simulare la migrazione da on premise a OCI, i dati copiati da PHX NFS a IAD.

Data set

Dimensione totale del set di dati: 3TB, con 3 file, ogni file 1TB.

Metodo Da - A Periodo Comando Flag
sincronizzazione os NFS/File PHX per oggetto IAD 123m17.102s ND --parallel-operations-count 100
s5cmd NFS/File PHX per oggetto IAD 239m20.625s copy run commands.txt, esecuzione predefinita --numworkers 256
clone NFS/File PHX per oggetto IAD 178m27.101s copy --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

Nota: i nostri test hanno mostrato che os sync esegue il più veloce per questo set di dati.

Dimensione totale del set di dati: 9.787GB, con 20.000 file, ogni file 20MB

Metodo Da - A Periodo Comando Flag
s5cmd NFS/File PHX per oggetto IAD 1m12.746s copy esecuzione predefinita --numworkers 256
sincronizzazione os NFS/File PHX per oggetto IAD 2m48.742s ND --parallel-operations-count 1000
clone NFS/File PHX per oggetto IAD 1m52.886s copy --transfers=500 --oos-no-check-bucket --no-check-dest

Nota: i test hanno mostrato che s5cmd ha ottenuto le prestazioni migliori per questo set di dati.

Ambiente di test 2:

Istanze VM: per ogni test sono state utilizzate 2 istanze VM, abbiamo utilizzato un VM.Standard.E4.Flex con 24 OCPU, larghezza di banda di rete 24Gbps e 384 GB di memoria. Oracle Linux 8 è stato utilizzato per il test di Linux. Flexify IO non utilizza istanze VM.

Data set utilizzati per il test: 14 directory principali con il seguente numero di file e dimensioni, per un totale di 2.25TiB.

Directory set di dati Dimensione Conteggio file Dimensione di ogni file
Directory 1 107.658 GiB 110.242 1 MiB
Directory 2 1.687 GiB 110.569 15 MiB
Directory 3 222 GiB 111 2 GiB
Directory 4 1.265 TiB 1.295 1 GiB
Directory 5 26.359 GiB 1.687 16 MiB
Directory 6 105.281 MiB 26.952 4 KiB
Directory 7 29.697 MiB 30.410 1 KiB
Directory 8 83.124 GiB 340.488 256 KiB
Directory 9 21.662 GiB 354.909 64 KiB
Directory 10 142.629 GiB 36.514 4 MiB
Directory 11 452.328 MiB 57.898 8 MiB
Directory 12 144 GiB 72 2GiB
Directory 13 208.500 GiB 834 256 MiB
Directory 14 54.688 GiB 875 64 MiB

Nota:

Metodo Da - A Periodo Comando Flag/note
s5cmd NFS/File PHX per oggetto IAD 54m41.814s copy --numworkers 74
sincronizzazione os NFS/File PHX per oggetto IAD 65m43.200s ND --parallel-operations-count 50
clone NFS/File PHX per oggetto IAD 111m59.704s copy --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
clone PHX oggetto per IAD oggetto 28m55.663s copy --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, lo stesso comando viene eseguito su 2 VM per un accesso concorrente di 800 trasferimenti
Script di copia di massa python PHX oggetto per IAD oggetto 25m43.715s Predefinita 1 VM, 50 worker, 100.000 file in coda alla volta
I/O flessibile PHX oggetto per IAD oggetto 20m27s copy Il valore predefinito è 10 motori/slot
I/O flessibile PHX oggetto per IAD oggetto 16m12s copy 20 motori / slot, questo può essere sollevato tramite "Impostazioni avanzate"

I comandi s5cmd e os sync funzionano correttamente su file system/NFS per lo storage degli oggetti. Flexify IO e lo script di copia in blocco si concentrano solo sui trasferimenti di storage degli oggetti (bucket-to-bucket) e non sono stati sottoposti a test per la migrazione NFS.

Solo Flexify IO,rclone e lo script di copia di massa python sono in grado di eseguire trasferimenti bucket-to-bucket tra le aree in modo che gli altri strumenti non siano stati testati per questo. Flexify IO offre le prestazioni migliori per le migrazioni dello storage degli oggetti in tutte le aree, con lo script di copia in blocco python che si perfeziona meglio di rclone. È importante notare che Flexify IO funziona per lo storage degli oggetti compatibile con S3, lo script di copia di massa python funziona solo con lo storage degli oggetti OCI e rclone supporta molti backend e provider cloud.

Piccole esecuzioni di test sono state condotte utilizzando rclone per trasferire dati da Microsoft Azure Blob Storage, Amazon Simple Storage Service (Amazon S3) e Google Cloud Platform Cloud Storage a OCI Object Storage per verificare che lo strumento funzioni per questi tipi di trasferimenti. Per ulteriori informazioni, vedere Spostare i dati nello storage degli oggetti nel cloud utilizzando Rclone.

FlexifyIO è stato utilizzato per eseguire la migrazione di questo data set da AWS us-east-2 all'area Ashburn OCI e ha impiegato solo 23m51s per 2.25TiB utilizzando l'impostazione predefinita di 10 motori/slot, ulteriori motori/slot potrebbero essere aggiunti per prestazioni più rapide.

Ambiente di test 3:

Istanze VM: per ogni test sono state utilizzate 1-2 istanze VM, abbiamo utilizzato un VM.Standard.E4.Flex con 24 OCPU, larghezza di banda di rete 24Gbps, 384 GB di memoria. Oracle Linux 8 è stato utilizzato per il test di Linux. Tutti i test erano bucket-to-bucket. Flexify IO non utilizza istanze VM.

Dimensione totale Conteggio file Intervallo dimensioni file
7.74 TiB 1.000.000 30 MiB
Metodo Da - A Periodo Comando Flag Note  
clone IAD da oggetto a oggetto -> IAD 18h39m11.4s copy --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1 VM, molto lenta a causa dell'elevato numero di file e della lista delle chiamate all'origine  
clone IAD da oggetto a oggetto -> IAD 55m8.431s copy --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VM, 500 trasferimenti per VM, elenco di oggetti/file alimentati 1.000 file alla volta, impedisce l'inserimento nell'elenco di origine e destinazione e migliora le prestazioni  
Script di copia di massa python IAD da oggetto a oggetto -> IAD 28m21.013s ND Predefinita 1 VM, 50 worker, 100.000 file in coda alla volta  
Script di copia di massa python IAD da oggetto a oggetto -> IAD ND ND Predefinita 2 VM, 50 worker per VM, 100.000 file in coda alla volta. Ricevuti 429 errori, script sospeso e impossibile completare  
I/O flessibile IAD da oggetto a oggetto -> IAD 39m19s copy Predefinita Il valore predefinito è 10 motori/slot  
I/O flessibile IAD da oggetto a oggetto -> IAD 21m37s copy 20 motori / slot Impostato su 20 motori / slot, questo può essere sollevato tramite "Impostazioni avanzate"  
s5cmd IAD da oggetto a oggetto -> IAD 14m10.864s copy Valori predefiniti (256 lavoratori) 1 VM ND
s5cmd IAD da oggetto a oggetto -> IAD 7m50.013s copy Impostazioni predefinite 2 VM, 256 lavoratori per ogni VM Ran in abuot metà del tempo come 1 VM
s5cmd IAD da oggetto a oggetto -> IAD 3m23.382s copy --numworkers 1000 1 VM, 1000 lavoratori In più test abbiamo rilevato che questa era l'esecuzione ottimale per questo data set con s5cmd
clone IAD da oggetto a oggetto -> PHX 184m36.536s copy --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VM, 500 trasferimenti per VM, lista di oggetti/file alimentati 1.000 file alla volta  
Script di copia di massa python IAD da oggetto a oggetto -> PHX 35m31.633s ND Predefinita 1VM, 50 worker, 100.000 file in coda alla volta  
I/O flessibile IAD da oggetto a oggetto -> PHX 21m17s copy 20 motori / slot Impostato su 20 motori / slot, questo può essere sollevato tramite "Impostazioni avanzate"  

Il comando s5cmd viene eseguito in modo coerente per il numero di file di grandi dimensioni e per i file di piccole dimensioni. s5cmd è limitato perché può eseguire solo copie da bucket a bucket all'interno della stessa tenancy e della stessa area.

Flexify IO è lo strumento consigliato per questo data set di migrazione poiché funziona bene e supporta vari tipi di storage degli oggetti compatibili con S3. Tempo di migrazione scaduto dopo l'innalzamento del conteggio motore/slot per l'IO Flexify.

Si notano miglioramenti elevati a rclone una volta inseriti i file nel comando e dallo scale-out a un'altra VM. Rclone può funzionare più lentamente di altri strumenti, tuttavia è il più versatile nelle varie piattaforme che supporta e tipi di migrazioni che può eseguire.

L'API Python di Copia di massa dello storage degli oggetti OCI può utilizzare solo l'API CopyObject nativa OCI e può raggiungere solo una concorrenza di 50 lavoratori prima di essere limitato, in genere funziona abbastanza bene per questo data set.

I test per IAD a PHX sono stati eseguiti solo su ciò che ha funzionato meglio in IAD a IAD e i test problematici non sono stati rieseguiti. s5cmd non è stato eseguito per IAD in PHX perché può eseguire solo copie da bucket a bucket all'interno della stessa area.

Conferme

Altre risorse di apprendimento

Esplora altri laboratori su docs.oracle.com/learn o accedi a più contenuti di formazione gratuiti sul canale YouTube di Oracle Learning. Inoltre, visitare education.oracle.com/learning-explorer per diventare Oracle Learning Explorer.

Per la documentazione del prodotto, visitare Oracle Help Center.