Documentação do Oracle Cloud Infrastructure

Transferindo Dados de/para o Serviço File Storage

Muitos casos de uso comuns do File Storage do Oracle Cloud Infrastructure (OCI) incluem a transferência de uma grande quantidade de dados. Com base na origem, no destino e na direção da transferência de dados, o melhor método para realizar essa transferência pode variar.

A tabela a seguir fornece recomendações para cenários comuns de transferência de dados do serviço File Storage, incluindo a migração de dados locais, a cópia de dados do serviço File Storage de uma região para outra, a cópia de dados do serviço File Storage em uma região e a cópia de dados do serviço File Storage para o serviço Object Storage.

Para obter informações gerais sobre conexões privadas entre o OCI e dados locais, consulte FastConnect e a VPN Site a Site.

Cenários de Transferência de Dados do Serviço File Storage
Transferir dados de... Para... Método Recomendado Requisitos e Considerações
Armazenamento on-premises File Storage no OCI

Os usuários do Linux podem usar o streaming de instância para instância e a ferramenta fpsync.

Os usuários do Windows podem montar o compartilhamento de arquivos on-premises do Windows como um compartilhamento CIFS (Common Internet File System) em uma instância do Oracle Linux do OCI e usar uma ferramenta de cópia, como fss-parallel-tools ou fpsync, para transferir dados.

Para obter mais informações, consulte Transferindo Dados Locais para o Serviço File Storage.

Certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino.
OCI File Storage File Storage em outra região

Use um dos seguintes métodos, dependendo das especificidades do caso de uso:

  1. Use Replicação do Sistema de Arquivos. Consulte Usando a Replicação para Transferência de Dados para obter mais informações.

  2. Use o streaming de instância para instância e a ferramenta fpsync. Para obter mais informações, consulte Usando o Streaming Instância a Instância para Transferir Dados do Serviço File Storage.

Se estiver usando a replicação, consulte Limitações e Considerações da replicação.

Se estiver usando streaming de instância para instância, certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino.
OCI File Storage Armazenamento de Arquivos no mesmo domínio de disponibilidade

Use um dos seguintes métodos, dependendo das especificidades do caso de uso:

  1. Use Replicação do Sistema de Arquivos. Consulte Usando a Replicação para Transferência de Dados para obter mais informações.

  2. Use o comando parcp em nosso conjunto de ferramentas paralelas para transferir dados.

    Consulte os exemplos de uso do parcp em Usando Ferramentas Paralelas do Serviço File Storage, particularmente como usar o parcp como uma alternativa eficaz para o rsync.

Se estiver usando a replicação, consulte Limitações e Considerações da replicação.

Se estiver usando parcp, certifique-se de que os sistemas de arquivos de origem e de destino estejam montados na instância.
OCI File Storage Serviço OCI Object Storage

Use rclone. Consulte Backup de Snapshots no Serviço Object Storage Usando rclone para obter mais informações.

A instância deve ser capaz de estabelecer conexão com o bucket do Object Storage.

Transferindo Dados Locais para o Serviço File Storage

Os cenários a seguir se mostraram eficazes para usuários do Linux e do Windows ao transferir grandes quantidades de dados do armazenamento local para o OCI File Storage. Eles podem não ser aplicáveis a todos os ambientes ou atender a todos os requisitos.

Para Usuários Linux

Use a ferramenta fpsync para executar uma cópia inicial de dados locais para o serviço OCI File Storage. Em seguida, as alterações de dados incrementais podem ser sincronizadas usando rsync porque fpsync não pode excluir arquivos e pastas no destino que não existem na origem.

A ferramenta fpsync é um encapsulador paralelo de rsync. Os usuários do Linux podem fazer download de fpsync de um repositório yum. Os comandos diferem dependendo da versão do Linux.

  1. Download do repositório.

    Os usuários do Linux 7 podem instalar a ferramenta usando o seguinte comando:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

    Os usuários do Linux 8 podem instalar a ferramenta usando o seguinte comando:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
  2. Instale a ferramenta:
    sudo yum install fpart -y

Antes de iniciar a transferência de dados, preencha os seguintes pré-requisitos:

  • Certifique-se de que a conectividade de rede seja estabelecida entre a origem de dados local e o OCI. Use a conexão FastConnect ou VPN Site a Site para ativar o streaming rápido de instância para instância por SSH.
  • Crie uma instância do Oracle Linux no OCI.
  • Anexe ou monte o compartilhamento de armazenamento local em um servidor Linux. Uma instância dedicada é recomendada.

Nesse cenário, sugerimos que a cópia inicial use fpsync. Posteriormente, as sincronizações incrementais usam rsync porque fpsync não tem a opção --delete.

  1. Monte o sistema de arquivos na instância do Oracle Linux.
  2. Execute o seguinte comando no servidor Linux local no qual o compartilhamento de origem está anexado ou montado para executar a cópia inicial: 
    fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress --log-file fpsync.log -e ssh" /<source>/ <user>@<oci_linux_instance>:/file_storage_destination/
  3. (Opcional) Se você precisar executar uma sincronização incremental até uma data específica, poderá programar o seguinte comando rsync como um cargo cron: 
    rsync -arxH --delete --progress --log-file rsync.log -e ssh" /source/ <user>@<oci_linux_instance>:/file_storage_destination/
Para obter mais opções de fpsync, consulte a página man fpsync.

Para usuários do Windows

Não use utilitários de cópia do Windows para cópias de dados grandes no serviço File Storage. Em vez disso, use uma instância do Linux do OCI para executar cópias grandes usando as ferramentas paralelas que vêm com uma instância do Linux do OCI. Monte o compartilhamento do Windows como um compartilhamento CIFS (Common Internet File System) e use uma ferramenta de cópia, como parcp ou fpsync, para transferir dados.

Como o protocolo SMB e o protocolo NFS usados pelo serviço File Storage não são compatíveis, uma instância que pode montar o sistema de arquivos NFS e o compartilhamento SMB é usada para criar uma ponte entre eles.

  1. Identifique ou crie uma instância do Linux no Oracle Cloud Infrastructure que tenha acesso de rede ao sistema de arquivos do serviço File Storage e ao compartilhamento SMB do Windows.
  2. Abra um terminal na instância.

  3. Digite o seguinte para instalar o utilitário CIFS (Common Internet File System) e verificar sua instalação:

    $sudo yum install -y cifs-utils
$rpm -qa|grep cifs

  4. Monte o compartilhamento SMB do Windows como um compartilhamento CIFS.

    1. Crie um diretório de ponto de montagem. Por exemplo:

      sudo mkdir /mnt/win_share

    2. Monte o compartilhamento CIFS:

      sudo mount -t cifs -o username=<win_share_user> //<win_IP_address/hostname>/<share_name> /mnt/<win_share_dir>

      Por exemplo: 

      $sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share
  5. Copie os arquivos do compartilhamento CIFS para o sistema de arquivos montado usando o utilitário parcp da suíte File Storage Parallel Tools ou fpsync. Para obter informações sobre a instalação de parcp, consulte Usando as File Storage Parallel Tools. Para obter informações sobre fpsync, visite a fpsync man page.

    Por exemplo:

    parcp -P 32 /mnt/win_share /mnt/MyFilesystem
    fpsync -v -n 8 -f 101 -o "-lptgoD -v --numeric-ids -e ssh" /mnt/win_share /mnt/MyFilesystem

Usando o Streaming Instância a Instância para Transferir Dados do Serviço File Storage

A ferramenta fpsync é um encapsulador paralelo de rsync. Você pode usar o streaming fpsync e instância a instância para transferir dados entre sistemas de arquivos montados do serviço File Storage.

Para instalar o fpsync, ative o repositório do desenvolvedor do Oracle Linux, que inclui o utilitário fpsync, na instância do OCI usando um comando como o seguinte. O comando difere com base na versão do Oracle Linux em uso:

yum --enablerepo ol7_developer_EPEL install -y fpart
yum --enablerepo ol8_developer_EPEL install -y fpart

Depois de instalar a ferramenta, use um comando de streaming instância a instância, como este, para transmitir dados:

fpsync -o "-e ssh --progress" /<fss_src_region>/test <ssh_user>@<remote_ip>:/<fss_dest_region>/

Para obter mais informações e opções, consulte a página man fpsync.

Veja a seguir um exemplo que mostra a diferença de desempenho entre os dois métodos:

# date; time fpsync -o "-e ssh --progress --log-file ~/speedtest.log" /fss_src_bom/test root@DR_hyd:/fss_dest_hyd/ ; date
Sun Mar 13 15:22:58 GMT 2022

real 0m1.467s
user 0m0.111s
sys 0m0.075s
Sun Mar 13 15:23:00 GMT 2022

# ls -ltrd test
drwxr-xr-x. 2 root root 1 Mar 13 15:22 test
# du -sh test
1001M test
# cp -r test test1

# date; time fpsync -o "--progress --log-file ~/speedtest1.log" /fss_src_bom/test1 /fss_dest_hyd/ ; date
Sun Mar 13 15:25:16 GMT 2022

real 1m28.847s
user 0m3.688s
sys 0m1.439s
Sun Mar 13 15:26:44 GMT 202