Documentazione di Oracle Cloud Infrastructure

Trasferimento dei dati nello storage di file e da esso

Molti casi d'uso comuni per lo storage di file Oracle Cloud Infrastructure (OCI) includono il trasferimento di una grande quantità di dati. In base all'origine, alla destinazione e alla direzione del trasferimento dei dati, il metodo migliore per eseguire tale trasferimento può variare.

La tabella riportata di seguito fornisce suggerimenti per scenari comuni di trasferimento dei dati dello storage di file, tra cui la migrazione dei dati in locale, la copia dei dati dello storage di file da un'area all'altra, la copia dei dati dello storage di file all'interno di un'area geografica e la copia dei dati dello storage di file nello storage degli oggetti.

Per informazioni generali sulle connessioni private tra OCI e i dati on-premise, vedere FastConnect e VPN Site-to-Site.

Scenari di trasferimento dati di storage dei file
Trasferisci dati da... Per... Metodo consigliato Prerequisiti e considerazioni
Storage in locale Storage di file su OCI

Gli utenti Linux possono utilizzare lo streaming da istanza a istanza e lo strumento fpsync.

Gli utenti Windows possono eseguire il MOUNT della condivisione file in locale di Windows come condivisione CIFS (Common Internet File System) su un'istanza OCI Oracle Linux e utilizzare uno strumento di copia come fss-parallel-tools o fpsync per trasferire i dati.

Per ulteriori informazioni, vedere Trasferimento di dati in locale nello storage di file.

Assicurarsi che venga stabilita la connettività di rete tra le istanze di origine e di destinazione.
OCI File Storage Storage di file in un'altra area

Utilizzare uno dei metodi riportati di seguito, a seconda delle specifiche dello use case.

  1. Utilizzare Replica del file system. Per ulteriori informazioni, vedere Utilizzo della replica per il trasferimento dati.

  2. Utilizzare lo streaming da istanza a istanza e lo strumento fpsync. Per ulteriori informazioni, vedere Utilizzo dello streaming da istanza a istanza per trasferire i dati di storage dei file.

Se si utilizza la replica, vedere Limitazioni e considerazioni della replica.

Se si utilizza lo streaming da istanza a istanza, assicurarsi che la connettività di rete sia stabilita tra le istanze di origine e di destinazione.
OCI File Storage Storage di file nello stesso dominio di disponibilità

Utilizzare uno dei metodi riportati di seguito, a seconda delle specifiche dello use case.

  1. Utilizzare Replica del file system. Per ulteriori informazioni, vedere Utilizzo della replica per il trasferimento dati.

  2. Per trasferire i dati, utilizza il comando parcp nella nostra suite di strumenti paralleli.

    Vedere gli esempi d'uso parcp in Uso degli strumenti paralleli di storage di file, in particolare come utilizzare parcp come alternativa efficace per rsync.

Se si utilizza la replica, vedere Limitazioni e considerazioni della replica.

Se si utilizza parcp, verificare che nell'istanza vengano attivati sia i file system di origine che quelli di destinazione.
OCI File Storage Memorizzazione degli oggetti OCI

Utilizzare rclone. Per ulteriori informazioni, vedere Backup degli snapshot nello storage degli oggetti mediante rclone.

L'istanza deve essere in grado di connettersi al bucket di storage degli oggetti.

Trasferimento di dati in locale nello storage di file

I seguenti scenari si sono dimostrati efficaci per gli utenti Linux e Windows durante il trasferimento di grandi quantità di dati dallo storage on premise allo storage di file OCI. Potrebbero non essere applicabili a tutti gli ambienti o soddisfare tutti i requisiti.

Per gli utenti Linux

Utilizzare lo strumento fpsync per eseguire una copia iniziale dei dati on premise nello storage di file OCI. È quindi possibile sincronizzare le modifiche incrementali ai dati utilizzando rsync perché fpsync non è in grado di eliminare file e cartelle nella destinazione che non esistono nell'origine.

Lo strumento fpsync è un wrapper parallelo di rsync. Gli utenti Linux possono scaricare fpsync da un repository yum. I comandi variano a seconda della versione di Linux.

  1. Scarica dal repository.

    Gli utenti di Linux 8 possono scaricare lo strumento utilizzando il seguente comando:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

    Gli utenti di Linux 9 possono scaricare lo strumento utilizzando il seguente comando:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-9.noarch.rpm
  2. Installare lo strumento:
    sudo yum install fpart -y

Prima di iniziare il trasferimento dei dati, completare i prerequisiti riportati di seguito.

  • Assicurarsi che venga stabilita la connettività di rete tra l'origine dati on premise e OCI. Utilizzare la connessione FastConnect o VPN Site-to-Site per abilitare lo streaming rapido da istanza a istanza su SSH.
  • Crea un'istanza Oracle Linux in OCI.
  • Collega o monta la condivisione di storage in locale su un server Linux. Si consiglia di utilizzare un'istanza dedicata.

In questo scenario, si consiglia di utilizzare la copia iniziale fpsync. In seguito, le sincronizzazioni incrementali utilizzano rsync perché fpsync non dispone dell'opzione --delete.

  1. Attivare il file system nell'istanza di Oracle Linux.
  2. Eseguire il seguente comando dal server Linux in locale in cui è collegata o montata la condivisione di origine per eseguire la copia iniziale: 
    fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress --log-file fpsync.log -e ssh" /<source>/ <user>@<oci_linux_instance>:/file_storage_destination/
  3. (Facoltativo) Se è necessario eseguire una sincronizzazione incrementale fino a una data specifica, è possibile pianificare il seguente comando rsync come job cron: 
    rsync -arxH --delete --progress --log-file rsync.log -e ssh" /source/ <user>@<oci_linux_instance>:/file_storage_destination/
Per altre opzioni fpsync, vedere la pagina man fpsync.

Per utenti Windows

Non utilizzare le utility di copia di Windows per copie di dati di grandi dimensioni nello storage di file. Utilizza invece un'istanza OCI Linux per eseguire copie di grandi dimensioni utilizzando gli strumenti paralleli forniti con un'istanza OCI Linux. Attivare la condivisione di Windows come condivisione CIFS (Common Internet File System) e utilizzare uno strumento di copia come parcp o fpsync per trasferire i dati.

Poiché il protocollo SMB e il protocollo NFS utilizzati dallo storage di file non sono compatibili, per creare un bridge tra di essi viene utilizzata un'istanza in grado di eseguire il MOUNT del file system NFS e della condivisione SMB.

  1. Identificare o creare un'istanza Linux in Oracle Cloud Infrastructure che abbia accesso di rete sia al file system di storage che alla condivisione SMB Windows.
  2. Aprire un terminale nell'istanza.

  3. Digitare quanto segue per installare la utility CIFS (Common Internet File System) e verificarne l'installazione:

    $sudo yum install -y cifs-utils
$rpm -qa|grep cifs

  4. Attivare la condivisione di Windows SMB come condivisione CIFS.

    1. Creare una directory del punto di accesso. Ad esempio:

      sudo mkdir /mnt/win_share

    2. Montare la condivisione CIFS:

      sudo mount -t cifs -o username=<win_share_user> //<win_IP_address/hostname>/<share_name> /mnt/<win_share_dir>

      Ad esempio: 

      $sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share
  5. Copiare i file dalla condivisione CIFS nel file system attivato utilizzando la utility parcp dalla suite File Storage Parallel Tools o fpsync. Per informazioni sull'installazione di parcp, vedere Uso degli strumenti paralleli di storage di file. Per informazioni su fpsync, visitare la pagina man fpsync.

    Ad esempio:

    parcp -P 32 /mnt/win_share /mnt/MyFilesystem
    fpsync -v -n 8 -f 101 -o "-lptgoD -v --numeric-ids -e ssh" /mnt/win_share /mnt/MyFilesystem

Uso dello streaming da istanza a istanza per trasferire i dati di storage dei file

Lo strumento fpsync è un wrapper parallelo di rsync. È possibile utilizzare lo streaming fpsync e da istanza a istanza per trasferire i dati tra i file system di storage di file di cui è stato eseguito il MOUNT.

Per installare fpsync, abilitare il repository per sviluppatori Oracle Linux, che include la utility fpsync, nell'istanza OCI utilizzando un comando come il seguente. Il comando si differenzia in base alla versione di Oracle Linux in uso:

yum --enablerepo ol7_developer_EPEL install -y fpart
yum --enablerepo ol8_developer_EPEL install -y fpart

Dopo aver installato lo strumento, utilizzare un comando di streaming da istanza a istanza come questo per lo streaming dei dati:

fpsync -o "-e ssh --progress" /<fss_src_region>/test <ssh_user>@<remote_ip>:/<fss_dest_region>/

Per ulteriori informazioni e opzioni, vedere la man page fpsync.

Di seguito è riportato un esempio che mostra la differenza di prestazioni tra i due approcci.

# date; time fpsync -o "-e ssh --progress --log-file ~/speedtest.log" /fss_src_bom/test root@DR_hyd:/fss_dest_hyd/ ; date
Sun Mar 13 15:22:58 GMT 2022

real 0m1.467s
user 0m0.111s
sys 0m0.075s
Sun Mar 13 15:23:00 GMT 2022

# ls -ltrd test
drwxr-xr-x. 2 root root 1 Mar 13 15:22 test
# du -sh test
1001M test
# cp -r test test1

# date; time fpsync -o "--progress --log-file ~/speedtest1.log" /fss_src_bom/test1 /fss_dest_hyd/ ; date
Sun Mar 13 15:25:16 GMT 2022

real 1m28.847s
user 0m3.688s
sys 0m1.439s
Sun Mar 13 15:26:44 GMT 202