Nota
- Questa esercitazione richiede l'accesso a Oracle Cloud. Per iscriverti a un account gratuito, consulta Inizia a utilizzare Oracle Cloud Infrastructure Free Tier.
- Utilizza valori di esempio per le credenziali, la tenancy e i compartimenti di Oracle Cloud Infrastructure. Al termine del laboratorio, sostituisci questi valori con quelli specifici del tuo ambiente cloud.
Utilizza gli strumenti di migrazione per spostare i dati nei servizi di storage cloud OCI
Introduzione
Questa è un'esercitazione 1 di quattro serie di esercitazioni che mostra vari modi per eseguire la migrazione dei dati nei servizi di storage cloud Oracle Cloud Infrastructure (OCI). La serie è impostata in modo da poter rivedere questa prima esercitazione per ottenere un'ampia comprensione dei vari strumenti e quindi procedere ai relativi tutorial o documenti pertinenti alle esigenze di migrazione.
OCI offre ai clienti computing altamente performante e opzioni di storage cloud a basso costo. Attraverso lo storage su richiesta locale, di oggetti, file, a blocchi e di archivio, Oracle soddisfa i requisiti chiave del carico di lavoro dello storage e i casi d'uso.
I servizi di storage cloud OCI offrono opzioni di storage cloud rapide, sicure e durature per tutte le esigenze aziendali. A partire dalle opzioni ad alte prestazioni come OCI File Storage con il servizio Lustre e OCI Block Volumes; dai file system in scala exabyte completamente gestiti dal servizio OCI File Storage con destinazioni di accesso ad alte prestazioni; allo storage degli oggetti OCI altamente duraturo e scalabile. Le nostre soluzioni possono soddisfare le tue esigenze, dalle applicazioni a uso intensivo di prestazioni come i carichi di lavoro AI/ML AI data lake su scala exabyte.
Molti clienti trovano la necessità di trasferire i dati nel servizio di storage cloud OCI da on premise, da un altro provider o tra i servizi di storage cloud OCI. In base all'origine, alla destinazione e alla direzione del trasferimento dei dati, il metodo migliore per eseguire la migrazione può variare. Una volta identificate le basi dell'origine dati e della destinazione in OCI, dovrai quindi decidere su un percorso di migrazione e quali strumenti dovrai utilizzare. Lascia che la nostra esperienza pratica ti guidi verso lo strumento di migrazione giusto e come usarlo. Questo tutorial 1 in una serie per presentarvi vari strumenti e dove potrebbero meglio adattarsi al processo di migrazione.
Determina la quantità di dati di cui eseguire la migrazione e il tempo di inattività disponibile per eseguire il cut-over alla nuova piattaforma di storage OCI. Le migrazioni batch sono una buona scelta per suddividere la migrazione in incrementi gestibili. Le migrazioni batch consentono di pianificare i tempi di inattività per applicazioni specifiche in finestre diverse. Alcuni clienti hanno la flessibilità di eseguire una migrazione una tantum in una finestra di manutenzione pianificata per 2-4 giorni. OCI FastConnect può essere utilizzato per creare una connessione dedicata e privata tra OCI e il tuo ambiente, con velocità di porta da 1G a 400G per accelerare il processo di trasferimento dei dati. OCI FastConnect può essere integrato con le soluzioni dei partner come Megaport e ConsoleConnect per creare una connessione privata al data center o all'interconnessione cloud-to-cloud per spostare i dati più direttamente da un altro fornitore cloud nel servizio di storage cloud OCI. Per ulteriori informazioni, vedere Integrazione FastConnect con Megaport Cloud Router.
Destinatari
DevOps ingegneri, sviluppatori, amministratori e utenti dello storage cloud OCI, responsabili IT, utenti avanzati OCI e amministratori delle applicazioni.
Obiettivi
Scopri come utilizzare vari strumenti per copiare e sincronizzare i dati nei servizi di storage cloud OCI:
-
Identifica gli strumenti di migrazione comuni.
-
Scopri i vari strumenti per la migrazione dei dati del file system (locali, NAS, in hosting nel cloud) nei servizi di storage cloud OCI.
-
Scopri quale strumento è più adatto per vari casi d'uso.
Prerequisiti
-
Comprensione del set di migrazione dei dati, della dimensione complessiva e dell'aspetto dei file o degli oggetti (pochi file di grandi dimensioni, molti file di piccole dimensioni e così via).
-
Dove nel servizio di storage cloud OCI (storage degli oggetti, storage di file o volumi a blocchi) lo storage deve atterrare.
-
Le tue sequenze temporali e se eseguirai una migrazione in blocco o incrementale (batch).
Strumenti di migrazione
La nostra Customer Experience e i nostri test possono aiutarti a individuare lo strumento di migrazione più adatto al tuo scenario. Ti invitiamo a fare un proof of concept e test su set di dati di esempio per verificare il metodo di migrazione migliore per il tuo set di dati. Esploreremo gli strumenti di migrazione comuni disponibili per eseguire la migrazione dei dati da provider on premise e altri provider cloud a OCI o all'interno dei servizi di storage cloud OCI. I risultati dei test vengono condivisi da set di dati di esempio in modo da poter estrapolare le prestazioni degli strumenti nel set di dati.
-
Rclone: Rclone è una utility open source a riga di comando per eseguire la migrazione dei dati nel cloud o tra fornitori di storage cloud. Rclone può essere utilizzato per eseguire la migrazione una tantum e la sincronizzazione periodica tra lo storage di origine e quello di destinazione. Rclone può eseguire la migrazione dei dati da e verso lo storage degli oggetti, lo storage di file, le unità attivate e tra i 70 tipi di storage supportati. Lo storage degli oggetti OCI è supportato in modo nativo come provider backend Rclone. È possibile eseguire lo scale-up e lo scale-out dei processi Rclone per aumentare le prestazioni di trasferimento utilizzando le opzioni dei parametri. Rclone ha opzioni come copia e sincronizzazione per trasferire i dati una tantum e periodici rispettivamente. Per ulteriori informazioni, vedere Installa Rclone.
-
Resilio Active Anywhere: Resilio è un'applicazione di trasferimento dati di terze parti basata su agenti. È ricca di interfaccia utente grafica (GUI) e offre un ottimo controllo sui job di trasferimento e sulla visualizzazione delle metriche delle prestazioni. Il software è disponibile in Oracle Cloud Marketplace e viene concesso in licenza da Resilio per l'installazione. Resilio può sincronizzare i file in intervalli di tempo fissi in qualsiasi direzione in un mesh uno-a-molti, molti-a-uno o molti-a-molti, consentendo una presenza globale in un data set.
-
Utility di sincronizzazione Linux open source: rsync e fpsync.
-
Rsync: strumento comune basato su Unix per eseguire la copia una tantum o la sincronizzazione periodica tra i percorsi di origine e destinazione.
-
Fpsync: strumento open source per eseguire la sincronizzazione parallela. Utilizza rsync, tar o rclone sotto e esegue un wrapper parallelo sulla parte superiore. Puoi scegliere tra rsync, tar o rclone come strumento di sincronizzazione sottostante.
-
-
Uso degli strumenti paralleli di storage di file: OCI File Storage ha distribuito un pacchetto di strumenti paralleli che funziona in modo ottimale con il file system. È disponibile con il repository per sviluppatori Linux e può essere installato direttamente dal repository yum. Il pacchetto contiene tre strumenti che sono parcp, parter e param che sono equivalenti paralleli delle utility standard di Linux cp, tar e rm rispettivamente.
-
Sincronizzazione dello storage degli oggetti dell'interfaccia della riga di comando OCI: OCI Object Storage Sync (os sync) fa parte dell'interfaccia CLI (Command Line Interface) OCI, che sincronizza una directory del file system con gli oggetti in un bucket. Il comando attraversa le sottodirectory copiando file o oggetti nuovi e modificati dall'origine alla destinazione e, facoltativamente, eliminando quelli non presenti nell'origine. Può eseguire fino a 1.00 operazioni parallele, a seconda delle risorse del computer host.
-
API Python di copia di massa dello storage degli oggetti OCI: il collegamento seguente è un esempio di script di copia di massa che utilizza l'API python per OCI. L'API può essere utilizzata per scrivere script come lo script di esempio che utilizza thread paralleli per copiare oggetti da un bucket in un altro. Per ulteriori informazioni sull'uso dello script di esempio, vedere Usa le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni di massa.
-
S3 Strumento compatibile (s5cmd): s5cmd è uno strumento open source che può essere utilizzato per eseguire la migrazione o la sincronizzazione dei file system locali e dello storage NAS (on-premise e in OCI) nello storage degli oggetti OCI. Può essere utilizzato anche per eseguire la migrazione dei dati da bucket a bucket all'interno della stessa area.
Lo strumento giusto per il lavoro
Ci sono molti strumenti tra cui scegliere quando si esegue una migrazione e può essere schiacciante ricercarli tutti in una volta. In base all'origine, alla destinazione, alla direzione della migrazione, all'esperienza utente e all'ambiente utente, lo strumento di migrazione migliore varierà.
La tabella riportata di seguito fornisce suggerimenti per scenari di migrazione comuni, tra cui la migrazione dei dati on premise, la migrazione dei dati da un altro fornitore cloud in OCI, la copia dei dati di storage cloud OCI da un'area all'altra, la copia dei dati di storage cloud OCI all'interno di un'area geografica e la copia dei dati di storage dei file OCI nello storage degli oggetti OCI.
Esegui migrazione dati da | Esegui migrazione dati in | Strumento/i consigliato/i | Note | Collegamenti a documentazione/esercitazione |
---|---|---|---|---|
In locale | Memorizzazione degli oggetti OCI | 1. s5cmd (file di piccole dimensioni/misti) 2. OCI Object Storage Sync (pochi file di grandi dimensioni) 3. Rclone (misto) |
Utilizza lo strumento migliore per le strutture dati e ti senti a tuo agio nell'utilizzo. È necessario rivedere FastConnect per migliorare i tempi di trasferimento. | S5cmd ed esercitazione sulla sincronizzazione dello storage degli oggetti, Esercitazione sulla copia |
Altro oggetto fornitore cloud o storage BLOB | Memorizzazione degli oggetti OCI | Rclone | Rclone sarà il più compatibile a supportare oltre 70 diversi fornitori di cloud. | Esercitazione Rclone |
Memorizzazione degli oggetti OCI | OCI Object Storage in un'altra area | 1. Replica degli oggetti 2. API Python di copia di massa dello storage degli oggetti OCI 3. Rclone |
L'uso della replica degli oggetti nativa è adatto per una replica esatta di un nuovo bucket attualmente vuoto. Utilizzare l'API Python o Rclone di copia in blocco dello storage degli oggetti OCI quando non si desidera sovrascrivere i dati nella destinazione o inizializzare le copie dell'origine che contengono già oggetti. | Documentazione di replica dello storage degli oggetti, Usa le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni di massa, Esercitazione su Clone |
Memorizzazione degli oggetti OCI | Storage degli oggetti OCI in un'altra tenancy (stessa o area diversa) | 1. API Python di copia di massa dello storage degli oggetti OCI 2. Rclone |
Prerequisiti: utilizzare i criteri IAM tra tenancy per abilitare le copie tra tenancy. Per ulteriori informazioni, vedere Accesso alle risorse di storage degli oggetti tra tenancy. | Usa le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni di massa, Esercitazione su Clona |
OCI File Storage | Memorizzazione degli oggetti OCI | 1. s5cmd (file di piccole dimensioni/misti) 2. Sincronizzazione dello storage degli oggetti (pochi file di grandi dimensioni) 3. Rclone (misto) |
Utilizza lo strumento migliore per le strutture dati e ti senti a tuo agio nell'utilizzo. | S5cmd ed esercitazione sulla sincronizzazione dello storage degli oggetti, Esercitazione sulla copia |
In locale | OCI File Storage | fpsync (Linux) e CIFS + fpsync (Windows) | Assicurarsi che venga stabilita la connettività di rete tra le istanze di origine e di destinazione. | Documentazione su Fpsync, esercitazione su fpsync |
Altro storage su disco o file locale del fornitore cloud | OCI File Storage | fpsync (Linux) e CIFS + fpsync (Windows) | Assicurarsi che venga stabilita la connettività di rete tra le istanze di origine e di destinazione. È necessario rivedere FastConnect per migliorare i tempi di trasferimento. | Documentazione su Fpsync, esercitazione su fpsync |
OCI File Storage | Storage di file OCI in un'altra area | 1. Replica del file system 2. fpsync con lo streaming da istanza a istanza |
Se si utilizza la replica, vedere Limitazioni e considerazioni della replica o se si utilizza lo streaming da istanza a istanza, assicurarsi che la connettività di rete sia stabilita tra le istanze di origine e di destinazione. | Documentazione su Fpsync, esercitazione su fpsync, Documentazione su File System Replication |
OCI File Storage | Storage di file OCI nello stesso dominio di disponibilità | 1. Replica del file system 2. Utilizzo degli strumenti paralleli di storage di file: parcp |
Se si utilizza la replica, vedere Limitazioni e considerazioni della replica o se si utilizza parcp, assicurarsi che i file system di origine e di destinazione siano attivati nell'istanza. | Replica del file system, Uso degli strumenti paralleli di storage di file: parcp |
On-premise, un altro fornitore cloud | Storage degli oggetti OCI o storage di file OCI | Piattaforma Resilio Active Anywhere | Utilizza la piattaforma Resilio Active Anywhere quando hai bisogno di sincronizzazione multidirezionale dei dati, servizio guanti bianchi con supporto e interfaccia GUI. Resilio è stato verificato dal team di prodotto del servizio di storage cloud OCI ed è disponibile in Oracle Cloud Marketplace. | Per ulteriori informazioni sull'utilizzo della piattaforma, rivolgiti al team Resilio. |
Nota: la serie di strumenti di migrazione non riguarderà OCI Object Storage o OCI File System Replication, OCI Object Storage Bulk Copy Python API e Resilio. Per ulteriori informazioni, vedere Collegamenti correlati.
Passi successivi
Passare alle esercitazioni correlate pertinenti alle esigenze di migrazione. Per spostare i dati nei servizi di storage cloud OCI:
-
Utilizzando Rclone, vedere l'Esercitazione 2: Spostare i dati nei servizi di storage cloud OCI utilizzando Rclone.
-
Utilizzando OCI Object Storage Sync e S5cmd, consulta l'Esercitazione 3: Sposta i dati nei servizi di storage cloud OCI utilizzando OCI Object Storage Sync e S5cmd.
-
Utilizzando Fpsync e Rsync per le migrazioni dei dati del file system, vedere l'Esercitazione 4: Spostare i dati nei servizi di storage cloud OCI utilizzando Fpsync e Rsync per le migrazioni dei dati del file system.
Collegamenti correlati
-
Elementi fondamentali per la migrazione dei dati nello storage cloud OCI
-
Esercitazione 2: Spostare i dati nei servizi di storage cloud OCI utilizzando Rclone
-
Sposta i dati nello storage degli oggetti nel cloud utilizzando Rclone
-
Annuncio del supporto backend del provider di storage degli oggetti OCI nativo in rclone
-
Migrazione dei dati tra e verso i servizi di storage OCI utilizzando Resilio Connect
-
Utilizza le utility Python di Oracle Cloud Infrastructure Object Storage per le operazioni di massa
Conferme
-
Autori - Vinoth Krishnamurthy (membro principale dello staff tecnico, OCI File Storage), Melinda Centeno (Senior Principal Product Manager, OCI Object Storage)
-
Contributori - Aboo Valappil (Consulting Member dello staff tecnico, OCI File e Block Storage), Ashutosh Mate (Senior Principal Product Manager, OCI Object Storage)
Altre risorse di apprendimento
Esplora altri laboratori su docs.oracle.com/learn o accedi a più contenuti gratuiti sulla formazione su Oracle Learning YouTube channel. Inoltre, visita education.oracle.com/learning-explorer per diventare un Oracle Learning Explorer.
Per la documentazione del prodotto, visita l'Oracle Help Center.
Use Migration Tools to Move Data into OCI Cloud Storage Services
G25555-01
January 2025
Copyright ©2025, Oracle and/or its affiliates.