Observação:
- Este tutorial requer acesso ao Oracle Cloud. Para se inscrever em uma conta gratuita, consulte Conceitos Básicos do Oracle Cloud Infrastructure Free Tier.
- Ele usa valores de exemplo para credenciais, tenancy e compartimentos do Oracle Cloud Infrastructure. Ao concluir seu laboratório, substitua esses valores por valores específicos do seu ambiente de nuvem.
Usar Ferramentas de Migração para Mover Dados para Serviços de Armazenamento na Nuvem da OCI
Introdução
Este é o tutorial 1 de uma série de quatro tutoriais que mostra várias maneiras de migrar dados para os serviços de armazenamento em nuvem do OCI (Oracle Cloud Infrastructure). A série é configurada para que você possa revisar este primeiro tutorial para obter uma ampla compreensão das várias ferramentas e, em seguida, prosseguir para o(s) tutorial(s) relacionado(s) ou documentos relevantes para suas necessidades de migração.
A OCI oferece aos clientes computação de alto desempenho e opções de armazenamento em nuvem de baixo custo. Por meio do armazenamento sob demanda local, de objetos, arquivos, blocos e arquivos compactados, a Oracle atende aos principais requisitos de carga de trabalho de armazenamento e casos de uso.
Os serviços de armazenamento em nuvem da OCI oferecem opções de armazenamento em nuvem rápidas, seguras e duráveis para todas as necessidades da sua empresa. Começando com as opções de alto desempenho, como o OCI File Storage com o Lustre e o serviço OCI Block Volumes; sistemas de arquivos de escala de exabytes totalmente gerenciados do serviço OCI File Storage com pontos de acesso NFS de alto desempenho; para o OCI Object Storage altamente durável e escalável. Nossas soluções podem atender às suas demandas, desde aplicações com alto desempenho, como cargas de trabalho de IA/ML, até data lakes em escala de exabytes.
Muitos clientes acham que é necessário transferir dados para o serviço de armazenamento em nuvem da OCI do local, de outro provedor ou entre os serviços de armazenamento em nuvem da OCI. Com base na origem, no destino e na direção da transferência de dados, o melhor método para realizar a migração pode variar. Depois de identificar os conceitos básicos da origem de dados e do destino no OCI, você precisará decidir sobre um caminho de migração e quais ferramentas precisará usar. Deixe nossa experiência prática guiá-lo em direção à ferramenta de migração certa e como usá-la. Este tutorial 1 em uma série para apresentá-lo a várias ferramentas e onde elas podem se encaixar melhor no processo de migração.
Determine a quantidade de dados que precisam ser migrados e o tempo de inatividade disponível para transferência para a nova plataforma de armazenamento da OCI. As migrações em lote são uma boa opção para dividir a migração em incrementos gerenciáveis. As migrações em batch permitirão que você programe o tempo de inatividade para aplicativos específicos em diferentes janelas. Alguns clientes têm a flexibilidade de fazer uma migração única em uma janela de manutenção programada de 2 a 4 dias. O OCI FastConnect pode ser usado para criar uma conexão privada dedicada entre o OCI e seu ambiente, com velocidades de porta de 1G a 400G para acelerar o processo de transferência de dados. O OCI FastConnect pode ser integrado a soluções de parceiros, como Megaport e ConsoleConnect, para criar uma conexão privada com seu data center ou interconexão nuvem a nuvem para mover dados mais diretamente de outro fornecedor de nuvem para o serviço de armazenamento em nuvem da OCI. Para obter mais informações, consulte a integração FastConnect com o Megaport Cloud Router.
Público-alvo
DevOps engenheiros, desenvolvedores, administradores e usuários de armazenamento em nuvem da OCI, gerentes de TI, usuários avançados da OCI e administradores de aplicativos.
Objetivos
Saiba como usar várias ferramentas para copiar e sincronizar dados nos serviços de armazenamento em nuvem da OCI:
-
Identificar ferramentas comuns de migração.
-
Saiba mais sobre as várias ferramentas para migrar dados do sistema de arquivos (local, NAS, hospedado na nuvem) para serviços de armazenamento na nuvem da OCI.
-
Saiba qual ferramenta é mais adequada para vários casos de uso.
Pré-requisitos
-
Uma compreensão do seu conjunto de migração de dados, do tamanho geral e da aparência dos arquivos ou objetos (poucos arquivos grandes, muitos arquivos pequenos etc.).
-
Onde no OCI Cloud Storage Service (Object Storage, File Storage ou Block Volumes) o armazenamento deve ser armazenado.
-
Suas linhas do tempo e se você estiver fazendo uma migração em massa ou incremental (em lote).
Ferramentas de Migração
Nossa experiência e testes do cliente podem ajudar a orientá-lo para qual ferramenta de migração melhor se adequará ao seu cenário. Recomendamos que você faça uma prova de conceito e testes em conjuntos de dados de amostra para verificar o melhor método de migração para seu conjunto de dados. Vamos explorar ferramentas comuns de migração disponíveis para migrar dados on-premises e de outros provedores de nuvem para a OCI ou dentro dos serviços de armazenamento em nuvem da OCI. Os resultados do teste são compartilhados a partir de conjuntos de dados de amostra para que você possa extrapolar como as ferramentas podem ser executadas em seu conjunto de dados.
-
Rclone: O Rclone é um utilitário de linha de comando de código aberto para migrar dados para a nuvem ou entre fornecedores de armazenamento em nuvem. O Rclone pode ser usado para fazer a migração única, bem como a sincronização periódica entre o armazenamento de origem e destino. O Rclone pode migrar dados de/para o armazenamento de objetos, armazenamento de arquivos, unidades montadas e entre 70 tipos de armazenamento suportados. O OCI Object Storage é suportado nativamente como provedor de backend Rclone. Os processos de clonagem podem ser ampliados e ampliados para aumentar o desempenho de transferência usando opções de parâmetro. O Rclone tem opções como copiar e sincronizar para transferir dados uma vez e periódicos, respectivamente. Para obter mais informações, consulte Instalar Rclone.
-
Resilio Ativo em Qualquer Lugar: O Resilio é um aplicativo de transferência de dados baseado em agente de terceiros. É rica em interface gráfica de usuário (GUI) e dá grande controle sobre os trabalhos de transferência, bem como visualizar as métricas de desempenho. O software está disponível no Oracle Cloud Marketplace e é licenciado pelo Resilio para instalação. O Resilio pode sincronizar arquivos em cronogramas fixos em qualquer direção em uma malha um-para-muitos, muitos-para-um ou muitos-para-muitos, permitindo uma presença global em um conjunto de dados.
-
Utilitários de Sincronização do Linux de Código Aberto: rsync e fpsync.
-
Rsync: Ferramenta comum baseada em Unix para fazer uma cópia única ou sincronização periódica entre caminhos de origem e destino.
-
Fpsync: Ferramenta de código aberto para fazer sincronização paralela. Ele usa rsync, tar ou rclone abaixo e executa um wrapper paralelo na parte superior. Você pode escolher rsync, tar ou rclone como a ferramenta de sincronização subjacente.
-
-
Usando Ferramentas Paralelas do Serviço File Storage: O OCI File Storage forneceu um pacote de ferramentas paralelas que funciona de forma ideal com o sistema de arquivos. Ele está disponível com o repositório do desenvolvedor Linux e pode ser instalado diretamente do repositório yum. O pacote contém três ferramentas que são parcp, parter e param que são equivalentes paralelos de utilitários Linux padrão cp, tar e rm, respectivamente.
-
Sincronização de Armazenamento de Objetos da Interface de Linha de Comando do OCI: O OCI Object Storage Sync (os sync) faz parte da CLI (Interface de Linha de Comando) do OCI que sincroniza um diretório do sistema de arquivos com objetos em um bucket. O comando percorre subdiretórios copiando arquivos ou objetos novos e modificados da origem para o destino e, opcionalmente, excluindo aqueles que não estão presentes na origem. Ele pode executar até 1.00 operações paralelas, dependendo dos recursos da máquina host.
-
API Python de Cópia em Massa do OCI Object Storage: O link a seguir é um exemplo de script de cópia em massa usando a API python para OCI. A API pode ser usada para gravar scripts como o script de exemplo que usa threads paralelos para copiar objetos de um bucket para outro. Para obter mais informações sobre como usar o script de amostra, consulte Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa.
-
S3 Ferramenta compatível (s5cmd): O s5cmd é uma ferramenta de código aberto que pode ser usada para migrar ou sincronizar sistemas de arquivos locais e armazenamento NAS (on-premises e no OCI) para o OCI Object Storage. Ele também pode ser usado para migrar dados bucket-to-bucket dentro da mesma região.
A ferramenta certa para o trabalho
Há muitas ferramentas para escolher ao fazer uma migração, e pode ser esmagador pesquisá-las de uma só vez. Com base na origem, no destino, na direção da migração, na experiência do usuário e no ambiente do usuário, a melhor ferramenta de migração variará.
A tabela a seguir fornece recomendações para cenários de migração comuns, incluindo a migração de dados locais, a migração de dados de outro fornecedor de nuvem para a OCI, a cópia de dados de armazenamento em nuvem da OCI de uma região para outra, a cópia de dados de armazenamento em nuvem da OCI em uma região e a cópia de dados do OCI File Storage para o OCI Object Storage.
Migrar Dados de | Migrar dados para | Ferramentas recomendadas | Notas | Links de Documentação/Tutorial |
---|---|---|---|---|
On-premises | OCI Object Storage | 1. s5cmd (arquivos pequenos/misturados) 2. OCI Object Storage Sync (poucos arquivos grandes) 3. Rclone (misto) |
Use a ferramenta melhor para suas estruturas de dados e sinta-se à vontade para usá-la. FastConnect deve ser revisado para melhorar o tempo de transferência. | S5cmd e Tutorial de Sincronização do Serviço Object Storage, Tutorial de Clonagem |
Outro Armazenamento de Objeto ou Blob do Fornecedor de Nuvem | OCI Object Storage | Rclone | O Rclone será o suporte mais compatível com mais de 70 fornecedores de nuvem diferentes. | Tutorial do Rclone |
OCI Object Storage | OCI Object Storage em outra região | 1. Replicação de Objeto 2. API Python de Cópia em Massa do OCI Object Storage 3. Rclone |
O uso da Replicação de Objeto nativa é bom para uma réplica exata de um novo bucket que está vazio no momento. Use a API Python de Cópia em Massa do OCI Object Storage ou Rclone quando não quiser substituir dados no destino ou inicializar cópias da origem que já tem objetos. | Documentação do Object Storage Replication, Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa, Tutorial de Clonagem |
OCI Object Storage | OCI Object Storage em outra tenancy (mesma ou outra região) | 1. API Python de Cópia em Massa do OCI Object Storage 2. Rclone |
Pré-requisito: Use políticas de IAM entre tenancies para ativar cópias entre tenancies. Para obter mais informações, consulte Acessando Recursos do Serviço Object Storage entre Tenancies. | Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa, Tutorial de Clonagem |
OCI File Storage | OCI Object Storage | 1. s5cmd (arquivos pequenos/misturados) 2. Sincronização de Armazenamento de Objetos (poucos arquivos grandes) 3. Rclone (misto) |
Use a ferramenta melhor para suas estruturas de dados e sinta-se à vontade para usá-la. | S5cmd e Tutorial de Sincronização do Serviço Object Storage, Tutorial de Clonagem |
On-premises | OCI File Storage | fpsync (Linux) e CIFS + fpsync (Windows) | Certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. | Documentação do Fpsync, tutorial do fpsync |
Outro disco local ou armazenamento de arquivos do fornecedor de nuvem | OCI File Storage | fpsync (Linux) e CIFS + fpsync (Windows) | Certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. FastConnect deve ser revisado para melhorar o tempo de transferência. | Documentação do Fpsync, tutorial do fpsync |
OCI File Storage | Armazenamento de Arquivos do OCI em outra região | 1. Replicação do Sistema de Arquivos 2. fpsync com streaming de instância para instância |
Se você usar replicação, consulte Limitações e Considerações da replicação ou se você usar o streaming de instância para instância, certifique-se de que a conectividade de rede seja estabelecida entre as instâncias de origem e de destino. | Documentação do Fpsync, tutorial do fpsync, Documentação do File System Replication |
OCI File Storage | Armazenamento de Arquivos do OCI dentro do mesmo domínio de disponibilidade | 1. Replicação do Sistema de Arquivos 2. Usando as File Storage Parallel Tools: parcp |
Se você usar a replicação, consulte Limitações e Considerações da replicação ou se você usar parcp, certifique-se de que os sistemas de arquivos de origem e de destino estejam montados na instância. | Replicação do Sistema de Arquivos, Usando Ferramentas Paralelas do Serviço File Storage: parcp |
Local, Outro fornecedor de nuvem | OCI Object Storage ou OCI File Storage | Plataforma Resilio Active Anywhere | Use a plataforma Resilio Active Anywhere quando precisar de sincronização multifacetada de dados, serviço de luva branca com suporte e interface GUI. O Resilio foi verificado pela equipe de produtos do serviço de armazenamento em nuvem da OCI e está disponível no Oracle Cloud Marketplace. | Para obter mais informações sobre como usar sua plataforma, entre em contato com a equipe do Resilio. |
Observação: A série de ferramentas de migração não abrangerá o OCI Object Storage ou OCI File System Replication, a API Python de Cópia em Massa do OCI Object Storage e o Resilio. Consulte Links Relacionados para obter mais informações.
Próximas Etapas
Prossiga para os tutoriais relacionados relevantes para suas necessidades de migração. Para mover dados para os serviços de armazenamento em nuvem do OCI:
-
Usando o Rclone, consulte Tutorial 2: Mover Dados para o OCI Cloud Storage Services usando o Rclone.
-
Usando o OCI Object Storage Sync e o S5cmd, consulte o Tutorial 3: Mover Dados para o OCI Cloud Storage Services usando o OCI Object Storage Sync e o S5cmd.
-
Usando o Fpsync e o Rsync para migrações de dados do sistema de arquivos, consulte Tutorial 4: Mover Dados para Serviços de Armazenamento na Nuvem do OCI usando o Fpsync e o Rsync para Migrações de Dados do Sistema de Arquivos.
Links Relacionados
-
Fundamentos de Migração para Mover Dados para o OCI Cloud Storage
-
Tutorial 2: Mover Dados para o OCI Cloud Storage Services usando o Rclone
-
Mover dados para o armazenamento de objetos na nuvem usando Rclone
-
Anúncio do suporte de backend nativo do provedor de Armazenamento de Objetos do OCI no rclone
-
Migração de dados para e entre serviços de armazenamento do OCI usando o Resilio Connect
-
Usar Utilitários Python do Oracle Cloud Infrastructure Object Storage para Operações em Massa
Confirmações
-
Autors - Vinoth Krishnamurthy (Membro Principal da Equipe Técnica, OCI File Storage), Melinda Centeno (Gerente Sênior Principal de Produtos, OCI Object Storage)
-
Contribuintes - Aboo Valappil (Membro Consultor de Equipe Técnica, OCI File e Block Storage), Ashutosh Mate (Gerente Sênior Principal de Produtos, OCI Object Storage)
Mais Recursos de Aprendizagem
Explore outros laboratórios em docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal Oracle Learning YouTube. Além disso, visite education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.
Para obter a documentação do produto, visite o Oracle Help Center.
Use Migration Tools to Move Data into OCI Cloud Storage Services
G25558-01
January 2025
Copyright ©2025, Oracle and/or its affiliates.