Note :

Ce tutoriel nécessite l'accès à Oracle Cloud. Pour vous inscrire à un compte gratuit, voir Démarrer avec le niveau gratuit d'Oracle Cloud Infrastructure.
Il utilise des exemples de valeurs pour les données d'identification, la location et les compartiments Oracle Cloud Infrastructure. À la fin de votre laboratoire, remplacez ces valeurs par celles propres à votre environnement en nuage.

Utiliser les outils de migration pour déplacer des données vers les services de stockage en nuage pour OCI

Présentation

Il s'agit du tutoriel 1 d'une série de quatre tutoriels qui vous montre différentes façons de migrer des données dans les services de stockage en nuage Oracle Cloud Infrastructure (OCI). La série est configurée pour que vous puissiez consulter ce premier tutoriel afin d'obtenir une compréhension globale des différents outils, puis passer aux tutoriels ou documents connexes pertinents pour vos besoins de migration.

OCI offre aux clients des options de calcul haute performance et de stockage infonuagique à faible coût. Grâce au stockage sur demande local, d'objet, de fichier, de blocs et d'archives, Oracle répond aux exigences clés en matière de charge de travail de stockage et aux cas d'utilisation.

Les services de stockage en nuage d'OCI offrent des options de stockage en nuage rapides, sécurisées et durables pour tous vos besoins d'entreprise. À commencer par les options de haute performance telles que le service de stockage de fichiers OCI avec Lustre et le service de volumes par blocs d'OCI; les systèmes de fichiers à l'échelle d'un exaoctet entièrement gérés du service de stockage de fichiers OCI avec des cibles de montage haute performance; vers le service de stockage d'objets OCI hautement durable et évolutif. Nos solutions peuvent répondre à vos exigences, allant des applications exigeantes en matière de performance, telles que les charges de travail d'intelligence artificielle et d'apprentissage automatique, aux lacs de données à l'échelle des exaoctets.

De nombreux clients trouvent qu'il est nécessaire de transférer des données vers le service de stockage en nuage OCI à partir d'un emplacement sur place, d'un autre fournisseur ou entre des services de stockage en nuage OCI. En fonction de l'origine, de la destination et de la direction du transfert de données, la meilleure méthode pour effectuer la migration peut varier. Une fois que vous aurez identifié les éléments de base de la source de données et de la destination dans OCI, vous devrez décider d'un chemin de migration et des outils que vous devrez utiliser. Laissez notre expérience pratique vous guider vers le bon outil de migration et comment l'utiliser. Ce tutoriel 1 d'une série vous présente différents outils et indique où ils peuvent s'intégrer le mieux au processus de migration.

Déterminez la quantité de données à migrer et le temps d'arrêt disponible pour la mise en service vers la nouvelle plate-forme de stockage OCI. Les migrations par lots sont un bon choix pour décomposer la migration en incréments gérables. Les migrations par lots vous permettront de programmer des temps d'arrêt pour des applications spécifiques dans différentes fenêtres. Certains clients ont la possibilité d'effectuer une migration unique au cours d'une fenêtre de maintenance programmée sur une période de 2 à 4 jours. OCI FastConnect peut être utilisé pour créer une connexion privée dédiée entre OCI et votre environnement, avec des vitesses de port allant de 1G à 400G pour accélérer le processus de transfert de données. OCI FastConnect peut être intégré à des solutions de partenaires telles que Megaport et ConsoleConnect pour créer une connexion privée à votre centre de données ou une interconnexion entre le nuage et le nuage afin de déplacer des données plus directement d'un autre fournisseur de nuage vers le service de stockage en nuage OCI. Pour plus d'informations, voir Intégration à FastConnect avec le routeur Megaport Cloud.

Public cible

DevOps ingénieurs, développeurs, administrateurs et utilisateurs du stockage en nuage OCI, gestionnaires informatiques, utilisateurs expérimentés OCI et administrateurs d'application.

Objectifs

Voyez comment utiliser divers outils pour copier et synchroniser des données dans les services de stockage en nuage OCI :

Identifier les outils de migration courants.
Découvrez les différents outils pour migrer des données de système de fichiers (locales, NAS, hébergées dans le nuage) vers des services de stockage en nuage OCI.
Découvrez quel outil convient le mieux à divers cas d'utilisation.

Préalables

Une compréhension de votre jeu de migration de données, de la taille globale et de l'apparence des fichiers ou des objets (peu de fichiers volumineux, beaucoup de petits fichiers, etc.).
Dans le service de stockage en nuage OCI (stockage d'objets, stockage de fichiers ou volumes par blocs), le stockage doit atterrir.
Vos échéanciers et si vous effectuez une migration en masse ou incrémentielle (par lots).

Outils de migration

Notre expérience client et nos tests peuvent vous aider à déterminer l'outil de migration qui convient le mieux à votre scénario. Nous vous encourageons à faire une démonstration de faisabilité et des tests sur des ensembles de données-échantillons pour vérifier la meilleure méthode de migration pour votre ensemble de données. Nous explorerons les outils de migration courants disponibles pour migrer des données des services sur place et d'autres fournisseurs de nuage vers OCI ou dans les services de stockage en nuage OCI. Les résultats de test sont partagés à partir d'exemples de jeux de données afin que vous puissiez extrapoler le rendement des outils sur votre jeu de données.

Rclone : Rclone est un utilitaire de ligne de commande à code source libre pour migrer des données vers le nuage ou entre des fournisseurs de stockage en nuage. Rclone peut être utilisé pour effectuer une migration ponctuelle ainsi qu'une synchronisation périodique entre le stockage source et le stockage de destination. Rclone peut migrer des données vers et depuis le stockage d'objets, le stockage de fichiers, les lecteurs montés et entre 70 types de stockage pris en charge. Le service de stockage d'objets pour OCI est pris en charge de manière native en tant que fournisseur dorsal Rclone. Les processus Rclone peuvent être redimensionnés pour augmenter les performances de transfert à l'aide des options de paramètre. Rclone propose des options telles que copier et synchroniser pour transférer des données une fois et périodiquement, respectivement. Pour plus d'informations, voir Installer Rclone.
Resilio Active Anywhere : Resilio est une application de transfert de données de tierce partie basée sur un agent. Il est riche en interface utilisateur graphique (GUI) et donne un grand contrôle sur les tâches de transfert ainsi que la visualisation des mesures de performance. Le logiciel est disponible dans Oracle Cloud Marketplace et fait l'objet d'une licence d'installation par Resilio. Resilio peut synchroniser des fichiers dans des délais fixes dans n'importe quelle direction dans un maillage un-à-plusieurs, plusieurs-à-un ou plusieurs-à-plusieurs permettant une présence globale sur un jeu de données.
Utilitaires de synchronisation Linux à source ouverte : rsync et fpsync.
- Synchronisation : Outil commun basé sur Unix pour effectuer une copie ponctuelle ou une synchronisation périodique entre les chemins source et de destination.
- Fpsync : Outil à code source libre pour effectuer une synchronisation parallèle. Il utilise rsync, tar ou rclone en dessous et exécute un wrapper parallèle sur le dessus. Vous pouvez choisir rsync, tar ou rclone comme outil de synchronisation sous-jacent.
Utilisation des outils parallèles de stockage de fichiers : Le service de stockage de fichiers OCI a fourni un ensemble d'outils parallèles qui fonctionne de manière optimale avec le système de fichiers. Il est disponible avec le référentiel de développeurs Linux et peut être installé directement à partir du référentiel yum. Le paquet contient trois outils qui sont parcp, parter et param qui sont équivalents parallèles aux utilitaires Linux standard cp, tar et rm respectivement.
Synchronisation du stockage d'objets de l'interface de ligne de commande OCI : La synchronisation du stockage d'objets OCI (synchronisation automatique) fait partie de l'interface de ligne de commande OCI qui synchronise un répertoire de système de fichiers avec les objets d'un seau. La commande parcourt les sous-répertoires en copiant les fichiers ou objets nouveaux et modifiés de la source vers la destination et éventuellement en supprimant ceux qui ne sont pas présents dans la source. Il peut exécuter jusqu'à 1 00 opérations parallèles, selon les ressources des machines hôtes.
API Python de copie en masse du service de stockage d'objets OCI : Le lien suivant est un exemple de script de copie en masse utilisant l'API python pour OCI. L'API peut être utilisée pour écrire des scripts tels que l'exemple de script qui utilise des unités d'exécution parallèles pour copier des objets d'un seau dans un autre. Pour plus d'informations sur l'utilisation de l'exemple de script, voir Utiliser les utilitaires Python d'Oracle Cloud Infrastructure Object Storage pour des opérations en masse.
Outil compatible avec S3 (s5cmd) : s5cmd est un outil à code source libre qui peut être utilisé pour migrer ou synchroniser les systèmes de fichiers locaux et le stockage NAS (sur place et dans OCI) dans le stockage d'objets OCI. Il peut également être utilisé pour migrer un seau de données vers un seau dans la même région.

Le bon outil pour le travail

Il existe de nombreux outils parmi lesquels choisir lors d'une migration, et il peut être accablant de les rechercher tous en même temps. En fonction de l'origine, de la destination, de la direction de la migration, de l'expérience utilisateur et de l'environnement utilisateur, le meilleur outil de migration variera.

Le tableau suivant fournit des recommandations pour les scénarios de migration courants, notamment la migration des données sur place, la migration des données d'un autre fournisseur de nuage vers OCI, la copie des données de stockage en nuage OCI d'une région à une autre, la copie des données de stockage en nuage OCI dans une région et la copie des données de stockage de fichiers OCI vers le stockage d'objets OCI.

Migrer les données de	Migrer les données vers	Outil(s) recommandé(s)	Notes	Liens de documentation/tutoriel
Sur place	Service de stockage d'objets pour OCI	1. s5cmd (fichiers petits/mixtes) 2. Synchronisation du service de stockage d'objets OCI (quelques fichiers volumineux) 3. Rclone (mélange)	Utilisez l'outil le mieux adapté à vos structures de données et vous êtes à l'aise d'utiliser. FastConnect doit être consulté pour améliorer le temps de transfert.	S5cmd et tutoriel sur la synchronisation du service de stockage d'objets, tutoriel sur le clonage
Autre objet de fournisseur de services en nuage ou stockage Blob	Service de stockage d'objets pour OCI	Rclone	Rclone sera le support le plus compatible avec plus de 70 fournisseurs de cloud différents.	Tutoriel Rclone
Service de stockage d'objets pour OCI	Stockage d'objets OCI dans une autre région	1. Réplication d'objet 2. API Python de copie en masse du service de stockage d'objets pour OCI 3. Rclone	L'utilisation de la réplication d'objet native est appropriée pour une réplique exacte d'un nouveau seau qui est actuellement vide. Utilisez l'API Python de copie en masse du stockage d'objets OCI ou Rclone lorsque vous ne voulez pas remplacer les données dans la cible ou initialiser des copies de la source qui a déjà des objets.	Documentation sur la réplication du service de stockage d'objets, Utiliser les utilitaires Python pour Oracle Cloud Infrastructure Object Storage pour des opérations en masse, Tutoriel sur le clonage
Service de stockage d'objets pour OCI	Stockage d'objets OCI dans une autre location (même région ou autre)	1. API Python de copie en masse du service de stockage d'objets pour OCI 2. Rclone	Prérequis : Utilisez les politiques IAM interlocation pour activer les copies interlocation. Pour plus d'informations, voir Accès aux ressources de stockage d'objets entre des locations.	Utiliser les utilitaires Python pour Oracle Cloud Infrastructure Object Storage pour des opérations en masse, Tutoriel sur le clonage
Service de stockage de fichiers pour OCI	Service de stockage d'objets pour OCI	1. s5cmd (fichiers petits/mixtes) 2. Synchronisation du stockage d'objets (quelques fichiers volumineux) 3. Rclone (mélange)	Utilisez l'outil le mieux adapté à vos structures de données et vous êtes à l'aise d'utiliser.	S5cmd et tutoriel sur la synchronisation du service de stockage d'objets, tutoriel sur le clonage
Sur place	Service de stockage de fichiers pour OCI	fpsync (Linux) et CIFS + fpsync (Windows)	Assurez-vous que la connectivité réseau est établie entre les instances source et de destination.	Documentation sur Fpsync, tutoriel sur fpsync
Disque local ou stockage de fichiers d'un autre fournisseur de nuage	Service de stockage de fichiers pour OCI	fpsync (Linux) et CIFS + fpsync (Windows)	Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. FastConnect doit être consulté pour améliorer le temps de transfert.	Documentation sur Fpsync, tutoriel sur fpsync
Service de stockage de fichiers pour OCI	Stockage de fichiers OCI dans une autre région	1. Réplication du système de fichiers 2. fpsync avec diffusion en continu d'instance à instance	Si vous utilisez la réplication, voir Limites et points à considérer de la réplication ou si vous utilisez la diffusion en continu d'instance à instance, assurez-vous que la connectivité réseau est établie entre les instances source et de destination.	Documentation sur Fpsync, tutoriel sur fpsync, Documentation sur la réplication du système de fichiers
Service de stockage de fichiers pour OCI	Service de stockage de fichiers OCI dans le même domaine de disponibilité	1. Réplication de système de fichiers 2. Utilisation des outils parallèles de stockage de fichiers : parcp	Si vous utilisez la réplication, voir Limites et points à considérer de la réplication ou si vous utilisez parcp, assurez-vous que les systèmes de fichiers source et de destination sont montés dans l'instance.	Réplication du système de fichiers, Utilisation des outils parallèles de stockage de fichiers : parcp
Sur place, un autre fournisseur de nuage	Stockage d'objets OCI ou stockage de fichiers OCI	Plateforme Resilio Active Anywhere	Utilisez la plate-forme Resilio Active Anywhere lorsque vous avez besoin d'une synchronisation multidirectionnelle des données, d'un service de gant blanc avec prise en charge et d'une interface graphique. Resilio a été vérifié par l'équipe du service de stockage en nuage pour OCI et est disponible dans Oracle Cloud Marketplace.	Pour plus d'informations sur l'utilisation de leur plate-forme, communiquez avec l'équipe Resilio.

Note : La série d'outils de migration ne couvrira pas le stockage d'objets OCI ou la réplication de système de fichiers OCI, l'API Python de copie en masse du stockage d'objets OCI et Resilio. Voir Liens connexes pour plus d'informations.

Étapes suivantes

Accédez aux tutoriels connexes pertinents pour vos besoins de migration. Pour déplacer des données dans les services de stockage en nuage OCI :

À l'aide de Rclone, voir le tutoriel 2 : Déplacer des données vers les services de stockage en nuage pour OCI à l'aide de Rclone.
À l'aide de la synchronisation du service de stockage d'objets pour OCI et de S5cmd, voir le tutoriel 3 : Déplacer des données dans les services de stockage d'objets pour OCI à l'aide de la synchronisation du service de stockage d'objets pour OCI et de S5cmd.
À l'aide de Fpsync et de Rsync pour les migrations de données de système de fichiers, voir Tutoriel 4 : Déplacer des données dans les services de stockage en nuage OCI à l'aide de Fpsync et de Rsync pour les migrations de données de système de fichiers.

Confirmation

Auteurs - Vinoth Krishnamurthy (Membre principal du personnel technique, stockage de fichiers OCI), Melinda Centeno (Gestionnaire principal de produit, stockage d'objets OCI)
Contributeurs - Aboo Valappil (Membre consultant du personnel technique, service de stockage de fichiers et par blocs d'OCI), Ashutosh Mate (Gestionnaire principal de produit, service de stockage d'objets d'OCI)

Autres ressources d'apprentissage

Explorez d'autres laboratoires sur la page docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal YouTube d'Oracle Learning. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.

Titre et droits d'auteur

Use Migration Tools to Move Data into OCI Cloud Storage Services

G25553-01

January 2025