Usar Ferramentas de Migração para Mover Dados para os Serviços de Armazenamento na Nuvem do OCI

Introdução

Este é o tutorial 1 de uma série de quatro tutoriais que mostra várias maneiras de migrar dados para os serviços de armazenamento na nuvem da Oracle Cloud Infrastructure (OCI). A série é configurada para que você possa revisar este primeiro tutorial para obter uma ampla compreensão das várias ferramentas e, em seguida, prosseguir para o(s) tutorial(s) relacionado(s) ou documentos relevantes para suas necessidades de migração.

A OCI fornece aos clientes opções de computação de alto desempenho e armazenamento em nuvem de baixo custo. Por meio do armazenamento local, de objetos, de arquivos, de blocos e de arquivos compactados sob demanda, a Oracle atende aos principais requisitos de carga de trabalho de armazenamento e aos casos de uso.

Os serviços de armazenamento em nuvem da OCI oferecem opções de armazenamento em nuvem rápidas, seguras e duráveis para todas as necessidades da sua empresa. Começando com as opções de alto desempenho, como o serviço OCI File Storage with Lustre e OCI Block Volumes; sistemas de arquivos de escala exabyte totalmente gerenciados do serviço OCI File Storage com pontos de acesso NFS de alto desempenho; para OCI Object Storage altamente durável e escalável. Nossas soluções podem atender às suas demandas, desde aplicações com alto desempenho, como cargas de trabalho de IA/ML, até data lakes em escala de exabytes.

Muitos clientes acham a necessidade de transferir dados para o serviço de armazenamento em nuvem da OCI de on-premises, outro provedor ou entre serviços de armazenamento em nuvem da OCI. Com base na origem, no destino e na direção da transferência de dados, o melhor método para realizar a migração pode variar. Depois de identificar os conceitos básicos da origem de dados e do destino no OCI, você terá que decidir sobre um caminho de migração e quais ferramentas precisará usar. Deixe que nossa experiência prática o oriente em direção à ferramenta de migração certa e como usá-la. Este tutorial 1 em uma série para apresentá-lo a várias ferramentas e onde elas podem se encaixar melhor no processo de migração.

Determine a quantidade de dados que precisam ser migrados e o tempo de inatividade disponível para transição para a nova plataforma de armazenamento da OCI. As migrações em lote são uma boa opção para dividir a migração em incrementos gerenciáveis. As migrações em lote permitirão que você programe o tempo de inatividade para aplicativos específicos em diferentes janelas. Alguns clientes têm a flexibilidade de fazer uma migração única em um período de manutenção programado de 2 a 4 dias. O OCI FastConnect pode ser usado para criar uma conexão privada dedicada entre o OCI e seu ambiente, com velocidades de porta de 1G a 400G para acelerar o processo de transferência de dados. O OCI FastConnect pode ser integrado a soluções de parceiros como Megaport e ConsoleConnect para criar uma conexão privada com seu data center ou interconexão de nuvem para nuvem para mover dados mais diretamente de outro fornecedor de nuvem para o serviço de armazenamento em nuvem da OCI. Para obter mais informações, consulte a integração do FastConnect com o Megaport Cloud Router.

Público-alvo

DevOps engenheiros, desenvolvedores, administradores e usuários de armazenamento na nuvem da OCI, gerentes de TI, usuários avançados da OCI e administradores de aplicativos.

Objetivos

Saiba como usar várias ferramentas para copiar e sincronizar dados nos serviços de armazenamento em nuvem da OCI:

Pré-requisitos

Ferramentas de Migração

Nossa experiência e testes com o cliente podem ajudar a orientar você sobre qual ferramenta de migração se adequará melhor ao seu cenário. Recomendamos que você faça uma prova de conceito e testes em conjuntos de dados de amostra para verificar o melhor método de migração para seu conjunto de dados. Vamos explorar ferramentas de migração comuns disponíveis para migrar dados de provedores on-premises e outros provedores de nuvem para a OCI ou dentro dos serviços de armazenamento em nuvem da OCI. Os resultados do teste são compartilhados a partir de conjuntos de dados de amostra para que você possa extrapolar como as ferramentas podem ser executadas no seu conjunto de dados.

A ferramenta certa para o trabalho

Há muitas ferramentas para escolher ao fazer uma migração, e pode ser esmagador pesquisá-las todas de uma vez. Com base na origem, no destino, na direção da migração, na experiência do usuário e no ambiente do usuário, a melhor ferramenta de migração variará.

A tabela a seguir fornece recomendações para cenários comuns de migração, incluindo a migração de dados on-premises, a migração de dados de outro fornecedor de nuvem para a OCI, a cópia de dados de armazenamento na nuvem da OCI de uma região para outra, a cópia de dados de armazenamento na nuvem da OCI dentro de uma região e a cópia de dados do OCI File Storage para o OCI Object Storage.

Migrar Dados de Migrar Dados para Ferramentas recomendadas Notas Links da Documentação/Tutorial
Sistema de arquivos on-premises OCI Object Storage 1. s5cmd (arquivos pequenos/mistos)
2. Sincronização do OCI Object Storage (poucos arquivos grandes)
3. Rclone (misto)
4. Resilio Ativo em Qualquer Lugar		 Use a ferramenta melhor para suas estruturas de dados e se sinta confortável usando. FastConnect deve ser analisado para melhorar o tempo de transferência. S5cmd e o Tutorial de Sincronização do Object Storage,
Rclonar Tutorial,
Resilio Active Anywhere
Outro Objeto de Fornecedor de Nuvem ou Blob Storage OCI Object Storage 1. Flexibilizar E/S
2. Clonar		 Use Flexify IO para fornecedores compatíveis com S3 e quando uma interface GUI suportada for desejada.
Use o Rclone quando estiver confortável em experimentar e alternar várias configurações e para o suporte mais compatível a mais de 70 fornecedores de nuvem diferentes (armazenamento de objetos compatível com S3 e não compatível com S3).		 Flexibilizar a migração de E/S entre nuvens, Tutorial de Clonagem
OCI Object Storage OCI Object Storage em outra região 1. Replicação de Objetos
2. API Python de Cópia em Massa do OCI Object Storage
3. Flexibilizar E/S
4. Clonar		 O uso da Replicação de Objetos nativa é bom para uma réplica exata de um novo bucket que está vazio no momento, use a API Python de Cópia em Massa do OCI Object Storage, Flexify IO ou Rclone para inicializar cópias de um bucket de origem que já tenha objetos ou quando quiser preservar objetos no destino. Documentação de Replicação do Serviço Object Storage,
Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa,
Flexificar E/S,
Rclonar Tutorial
OCI Object Storage OCI Object Storage em outra tenancy (mesma ou outra região) 1. API Python de Cópia em Massa do OCI Object Storage
2. Flexibilizar E/S
3. Clonar		 Pré-requisito para a API Python de Cópia em Massa do OCI Object Storage: Usar políticas do IAM entre tenancies para ativar cópias entre tenancies. Para obter mais informações, consulte Acessando Recursos do Serviço Object Storage entre Tenancies. Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa,
Flexibilizar E/S,
Rclonar Tutorial
OCI File Storage OCI Object Storage 1. s5cmd (arquivos pequenos/mistos)
2. Object Storage Sync (poucos arquivos grandes)
3. Rclone (misto)
4. Resilio Ativo em Qualquer Lugar		 Use a ferramenta melhor para suas estruturas de dados e se sinta confortável usando. S5cmd e o Tutorial de Sincronização do Object Storage,
Rclonar Tutorial,
Resilio Active Anywhere
Sistema de arquivos on-premises OCI File Storage 1. fpsync (Linux) e CIFS + fpsync (Windows)
2. Resilio Ativo em Qualquer Lugar		 Certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. Documentação do Fpsync,
tutorial do fpsync,
Resilio Active Anywhere
Outro disco local ou armazenamento de arquivos do fornecedor de nuvem OCI File Storage 1. fpsync (Linux) e CIFS + fpsync (Windows)
2. Resilio Ativo em Qualquer Lugar		 Certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. FastConnect deve ser analisado para melhorar o tempo de transferência. Documentação do Fpsync,
tutorial do fpsync,
Resilio Active Anywhere
OCI File Storage Armazenamento de Arquivos do OCI em outra região 1. Replicação do Sistema de Arquivos
2. fpsync com streaming de instância para instância
3. Resilio Ativo em Qualquer Lugar		 Se você usar a replicação, consulte as Limitações e Considerações da replicação ou se usar o streaming de instância para instância, certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. Documentação do Fpsync,
tutorial do fpsync,
Documentação da replicação do sistema de arquivos,
Resilio Active Anywhere
OCI File Storage Armazenamento de Arquivos do OCI no mesmo domínio de disponibilidade 1. Replicação de Sistemas de Arquivos
2. Usando Ferramentas Paralelas do Serviço File Storage: parcel
3. Resilio Ativo em Qualquer Lugar		 Se você usar a replicação, consulte Limitações e Considerações da replicação ou se usar parcel, certifique-se de que os sistemas de arquivos de origem e de destino estejam montados na instância. Replicação do Sistema de Arquivos,
Usando Ferramentas Paralelas do Serviço File Storage: parcelp,
Resilio Active Anywhere
On-premises, Outro fornecedor de nuvem OCI Object Storage ou OCI File Storage Plataforma Resilio Active Anywhere Use a plataforma Resilio Active Anywhere quando precisar de sincronização de dados, serviço de luvas brancas com suporte e interface GUI. O Resilio foi verificado pela equipe de produtos do serviço de armazenamento em nuvem da OCI e está disponível no Oracle Cloud Marketplace. Para obter mais informações sobre como usar sua plataforma, entre em contato com a equipe Resilio.

Observação: A série de ferramentas de migração não abrange o OCI Object Storage ou o OCI File System Replication, OCI Object Storage Bulk Copy Python API, Flexify e Resilio. Consulte Links Relacionados para obter mais informações.

Próximas Etapas

Prossiga para os tutoriais relacionados relevantes às suas necessidades de migração. Para mover dados para os serviços de armazenamento na nuvem do OCI:

(Opcional) Ambientes de Teste

As recomendações são feitas com base em testes e interações com o cliente.

Ambiente de Teste 1:

1 instância de VM VM.Standard.E4.Flex, 1 OCPU, largura de banda de rede 1Gbps e 16 GB de memória. Para simular dados copiados da migração local para o OCI do NFS PHX para o IAD.

Conjuntos de Dados

Tamanho total do conjunto de dados: 3 TB, com 3 arquivos, cada arquivo 1 TB.

Método De-Até Tempo Comando Flags
sincronização do OS NFS/File PHX para o Objeto IAD 123m17.102s NA --parallel-operations-count 100
s5cmd NFS/File PHX para o Objeto IAD 239m20.625s copiar run commands.txt, execução padrão --numworkers 256
rclone NFS/File PHX para o Objeto IAD 178m27.101s copiar --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

Observação: Nossos testes mostraram os sync executando o mais rápido para este conjunto de dados.

Tamanho total do conjunto de dados: 9.787GB, com 20.000 arquivos, cada arquivo com 20 MB

Método De-Até Tempo Comando Flags
s5cmd NFS/File PHX para o Objeto IAD 1m12.746s copiar execução padrão --numworkers 256
sincronização do OS NFS/File PHX para o Objeto IAD 2m48.742s NA --parallel-operations-count 1000
rclone NFS/File PHX para o Objeto IAD 1m52.886s copiar --transfers=500 --oos-no-check-bucket --no-check-dest

Observação: Nossos testes mostraram que s5cmd está executando o melhor para esse conjunto de dados.

Ambiente de Teste 2:

Instâncias de VM: 2 instâncias de VM foram usadas para cada teste; usamos uma VM.Standard.E4.Flex com 24 OCPUs, largura de banda de rede 24Gbps e 384 GB de memória. O Oracle Linux 8 foi usado para testes do Linux. O Flexify IO não usa instâncias de VM.

Conjuntos de dados usados no teste: 14 diretórios principais com a seguinte contagem e tamanhos de arquivos, totalizando 2.25TiB.

Diretório do Conjunto de Dados Tamanho Contagem de arquivos Tamanho de cada arquivo
Diretório 1 107.658 GiB 110.242 1 MiB
Diretório 2 1.687 GiB 110.569 15 MiB
Diretório 3 222 GiB 111 2 GiB
Diretório 4 1.265 TiB 1.295 1 GiB
Diretório 5 26.359 GiB 1.687 16 MiB
Diretório 6 105.281 MiB 26.952 4 KiB
Diretório 7 29.697 MiB 30.410 1 KiB
Diretório 8 83.124 GiB 340.488 256 KiB
Diretório 9 21.662 GiB 354.909 64 KiB
Diretório 10 142.629 GiB 36.514 4 MiB
Diretório 11 452.328 MiB 57.898 8 MiB
Diretório 12 144 GiB 72 2GiB
Diretório 13 208.500 GiB 834 256 MiB
Diretório 14 54.688 GiB 875 64 MiB

Observação:

Método De-Até Tempo Comando Sinalizadores/Observações
s5cmd NFS/File PHX para o Objeto IAD 54m41.814s copiar --numworkers 74
sincronização do OS NFS/File PHX para o Objeto IAD 65m43.200s NA --parallel-operations-count 50
rclone NFS/File PHX para o Objeto IAD 111m59.704s copiar --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
rclone Objeto PHX para Objeto IAD 28m55.663s copiar --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, mesmo comando executado em 2 VMs para uma simultaneidade de 800 transferências
Script de cópia em massa do python Objeto PHX para Objeto IAD 25m43.715s Padrão 1 VM, 50 workers, 100.000 arquivos enfileirados por vez
Flexibilizar E/S Objeto PHX para Objeto IAD 20m27s copiar O padrão é 10 motores/slots
Flexibilizar E/S Objeto PHX para Objeto IAD 16m12s copiar 20 motores / slots, isso pode ser levantado através de "Configurações avançadas"

Os comandos s5cmd e os sync fazem bem no filesystem/NFS para o armazenamento de objetos. O script Flexify IO e de cópia em massa se concentra apenas em transferências de armazenamento de objetos (de bucket para bucket) e não foi testado para migração NFS.

Somente Flexify IO,rclone e o script de cópia em massa do python são capazes de fazer transferências de bucket para bucket entre regiões para que as outras ferramentas não sejam testadas. O Flexify IO executa o melhor para migrações de armazenamento de objetos entre regiões, com o script de cópia em massa do python funcionando melhor do que o rclone. É importante observar que o Flexify IO funciona para o armazenamento de objetos compatível com S3, o script de cópia em massa python só funciona com o OCI Object Storage e o rclone suporta muitos backends e provedores de nuvem.

Pequenas execuções de teste foram conduzidas usando rclone para transferir dados do Microsoft Azure Blob Storage, Amazon Simple Storage Service (Amazon S3) e do Google Cloud Platform Cloud Storage para o OCI Object Storage para verificar se a ferramenta funciona para esses tipos de transferências. Para obter mais informações, consulte Mover dados para o armazenamento de objetos na nuvem usando o Rclone.

O FlexifyIO foi usado para migrar esse conjunto de dados do AWS us-east-2 para a região OCI Ashburn e utilizou apenas o 23m51s para o 2.25TiB usando o padrão de 10 mecanismos/slots. Outros mecanismos/slots poderiam ser adicionados para um desempenho mais rápido.

Ambiente de Teste 3:

Instâncias de VM: 1 a 2 instâncias de VM foram usadas para cada teste; usamos uma VM.Standard.E4.Flex com 24 OCPUs, largura de banda de rede 24Gbps e 384 GB de memória. O Oracle Linux 8 foi usado para testes do Linux. Todos os testes foram bucket-to-bucket. O Flexify IO não usa instâncias de VM.

Tamanho Total Contagem de Arquivos Intervalo de Tamanho do Arquivo
7.74 TiB 1.000.000 30 MiB
Método De-Até Tempo Comando Flags Notas  
rclone IAD Objeto a Objeto -> IAD 18h39m11.4s copiar --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1 VM, muito lenta devido à alta contagem de arquivos e listando chamadas para origem  
rclone IAD Objeto a Objeto -> IAD 55m8.431s copiar --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VMs, 500 transferências por VM, lista de objetos/arquivos alimentada com 1.000 arquivos por vez, impede a listagem na origem e no destino e melhora o desempenho  
Script de cópia em massa do python IAD Objeto a Objeto -> IAD 28m21.013s NA Padrão 1 VM, 50 workers, 100.000 arquivos enfileirados por vez  
Script de cópia em massa do python IAD Objeto a Objeto -> IAD NA NA Padrão 2 VMs, 50 trabalhadores por VM, 100.000 arquivos enfileirados por vez. Erros 429 recebidos, script suspenso e não foi possível concluir  
Flexibilizar E/S IAD Objeto a Objeto -> IAD 39m19s copiar Padrão O padrão é 10 mecanismos/slots  
Flexibilizar E/S IAD Objeto a Objeto -> IAD 21m37s copiar 20 motores / ranhuras Definido para 20 motores / slots, isso pode ser aumentado através de "Configurações avançadas"  
s5cmd IAD Objeto a Objeto -> IAD 14m10.864s copiar Padrões (256 trabalhadores) 1 VM NA
s5cmd IAD Objeto a Objeto -> IAD 7m50.013s copiar Defaults 2 VMs, 256 trabalhadores cada VM Ran em abuot metade do tempo como 1 VM
s5cmd IAD Objeto a Objeto -> IAD 3m23.382s copiar --numworkers 1000 1 VM, 1000 colaboradores Em vários testes, descobrimos que essa era a execução ideal para esse conjunto de dados com o s5cmd
rclone IAD Objeto a Objeto -> PHX 184m36.536s copiar --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VMs, 500 transferências por VM, lista de objetos/arquivos alimentados com 1.000 arquivos por vez  
Script de cópia em massa do python IAD Objeto a Objeto -> PHX 35m31.633s NA Padrão 1VM, 50 trabalhadores, 100.000 arquivos enfileirados por vez  
Flexibilizar E/S IAD Objeto a Objeto -> PHX 21m17s copiar 20 motores / ranhuras Definido para 20 motores / slots, isso pode ser aumentado através de "Configurações avançadas"  

O comando s5cmd foi executado consistentemente melhor para a contagem de arquivos grandes e arquivos pequenos. O s5cmd é limitado porque só pode fazer cópias de bucket para bucket na mesma tenancy e na mesma região.

O Flexify IO seria a ferramenta recomendada para este conjunto de dados de migração, pois ele tem um bom desempenho e suporta vários tipos de armazenamento de objetos compatíveis com S3. O tempo de migração diminuiu após aumentar a contagem de mecanismo/intervalo para Flexify IO.

Observe aprimoramentos altos no rclone quando os arquivos são alimentados no comando e do dimensionamento para outra VM. O Rclone pode ser executado mais lentamente do que outras ferramentas, no entanto, é o mais versátil nas várias plataformas que suporta e tipos de migrações que pode executar.

A API Python OCI Object Storage Bulk Copy só pode usar a API CopyObject nativa da OCI e só pode chegar a uma simultaneidade de 50 trabalhadores antes de ser limitada, geralmente tem um desempenho muito bom para esse conjunto de dados.

Os testes para IAD para PHX foram feitos apenas no que funcionou melhor em IAD para IAD e os testes problemáticos não foram executados novamente. O s5cmd não foi executado para IAD para PHX porque só pode fazer cópias de bucket para bucket na mesma região.

Confirmações

Mais Recursos de Aprendizado

Explore outros laboratórios em docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal do Oracle Learning YouTube. Além disso, acesse education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.

Para obter a documentação do produto, visite o Oracle Help Center.