Mover Seus Dados para o Oracle Cloud Infrastructure

Depois que sua configuração estiver concluída, você poderá iniciar a transferência. Dependendo da quantidade de dados e da velocidade da conexão, essa transferência pode levar muito tempo (dias ou semanas).

Para monitorar o progresso, recomendamos iniciar a transferência no modo detalhado do tmux, para que você possa executar o processo em segundo plano e observar seu progresso conforme necessário.

Mover os Dados

Inicie a transferência no modo detalhado da Tela GNU, para que você possa executar o processo em segundo plano e observar seu progresso conforme necessário.

  1. Inicie uma sessão tmux e dê um nome à sessão:
    $ tmux new -s<session name>
     
    Por exemplo:
    $ tmux new -srclone
  2. Na janela de terminal tmux, inicie o Rclone no modo detalhado. Substitua <destination_bucket> conforme necessário (um bucket será criado automaticamente se ainda não existir um).
    $ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 copy $SOURCE oci:<destination_bucket>
  3. Enquanto a transferência estiver em andamento, desanexe-se do tmux pressionando Ctrl+b d
  4. Para voltar à sessão tmux para monitorar o Rclone, digite:
    $ tmux attach -d -t <session name>
     
    Por exemplo:
    $ tmux attach -d -t rclone
  5. Se você quiser desanexar o tmux novamente, pressione Ctrl+b d.

Observação:

O número ideal de colaboradores e transferências de cache depende do seu caso de uso específico, da largura de banda disponível, dos recursos disponíveis na estação de trabalho ou no servidor e dos limites de limitação aplicados pelo seu provedor de nuvem. Em geral, quanto maior o número de transferências e cache-workers, mais rápido a transferência será concluída. Mas além de um certo número, você pode começar a receber erros. Recomendamos que você comece com 64 transferências simultâneas e cache-workers e ajuste o número conforme necessário,

Quando a transferência estiver concluída, verifique se não ocorreram erros. Se você vir erros, tente diminuir o número de cache-workers e transferências e tente novamente.

Verificar a Transferência

Independentemente de como os dados são transferidos para o Object Storage (seja de um sistema de arquivos local ou outro provedor de nuvem, ou por algum outro meio), você pode usar o rclone para verificar se os dados copiados para o Object Storage são idênticos à sua origem. Você pode verificar os dados de forma rápida ou mais completa.

Use o seguinte método para executar uma verificação relativamente rápida:
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check $SOURCE oci:<destination_bucket> 

Esse método detecta diferenças nos buckets de origem e destino verificando tamanhos de arquivo e hashes MD5. No entanto, os hashes MD5 não podem ser usados para objetos cujo upload é feito usando uploads em várias partes. Como resultado, objetos grandes são verificados apenas comparando seus tamanhos de arquivo, o que fornece apenas uma verificação superficial.

Para realizar uma verificação mais completa, você pode instruir o rclone a fazer download de arquivos e compará-los:
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check --download $SOURCE oci:<destination_bucket>
Embora esse método execute uma comparação mais completa, ele requer o download de cópias de ambos os armazenamentos de objetos.

Observação:

Quando você executa uma verificação com downloads, dependendo de onde seu job é executado, pode incorrer em taxas adicionais de transferência de dados do seu provedor de nuvem existente, da Oracle ou de ambos.