Présentation de File Storage avec Lustre
Oracle Cloud Infrastructure (OCI) File Storage with Lustre est un service de stockage entièrement géré conçu pour répondre aux exigences de l'entraînement et de l'inférence en IA/ML et des besoins de calcul haute performance.
File Storage with Lustre automatise les tâches de déploiement, de mise à l'échelle et de maintenance de Lustre open source, ce qui vous permet de vous concentrer sur les applications plutôt que sur la gestion de l'infrastructure Lustre. OCI déploie et gère tous les composants de serveur Lustre, y compris les serveurs de métadonnées, les serveurs de gestion et les serveurs de stockage.
Pour plus d'informations sur Lustre open source, reportez-vous à Introduction à Lustre.
Fonctionnalités
Les principales fonctionnalités de File Storage with Lustre sont les suivantes :
- Architecture distribuée parallèle
- File Storage with Lustre s'appuie sur une architecture distribuée parallèle, permettant de gérer efficacement les chargements de données massifs. Les systèmes de fichiers peuvent évoluer et fournir des vitesses d'agrégation élevées, garantissant un traitement rapide des données et un haut débit.
- Service entièrement géré
- Le déploiement, la mise à l'échelle et la maintenance automatisés simplifient la gestion pour les utilisateurs, éliminant ainsi la complexité traditionnellement associée à la configuration et à la maintenance des composants d'infrastructure Lustre.
- Prêt pour la production pour l'IA et le machine learning
- File Storage with Lustre est capable de gérer de grandes quantités de données, ce qui en fait un choix idéal pour les entreprises qui cherchent à tirer parti des analyses Big Data et des modèles d'IA sophistiqués.
Concepts
- Performances
-
File Storage with Lustre offre quatre niveaux de performances :
- 125 MBps (1Gbps) par disposition TiB
- 250 MBps (2 Gbits/s) par TiB provisionné
- 500 MBps (4 Gbits/s) par TiB provisionné
- 1000 MBps (8 Gbits/s) par TiB provisionné
Les administrateurs sont responsables de toute optimisation des performances côté client. Ils peuvent utiliser les utilitaires Lustre
lfspour les fonctions d'optimisation des performances telles que le striping de fichiers et la mise en page progressive des fichiers (PFL). - Clients Lustre
-
Les administrateurs sont responsables du déploiement des clients Lustre dans les hôtes GPU ou les autres hôtes Compute qui ont besoin d'accéder au système de fichiers.
File Storage with Lustre utilise la version 2.15.5 de Lustre et vous pouvez utiliser les clients 2.15.5 pour le système d'exploitation suivant :
- Ubuntu 22.04 avec noyau 5.15.x
- Oracle Linux 8 avec noyau compatible Red Hat 4.18 (RHCK)
For more information, see Mounting and Accessing a Lustre File System. Si vous avez besoin d'aide avec les clients Lustre, contactez le support technique.
Disponibilité
Oracle héberge ses services OCI dans des régions et des domaines de disponibilité. Une région est une zone géographique précise, tandis qu'un domaine de disponibilité désigne des centres de données dans cette région. OCI File Storage with Lustre est hébergé dans les régions suivantes :
| Nom de région | Identifiant de la région | Clé de la région |
|---|---|---|
| Est de l'Australie (Sydney) | ap-sydney-1 | SYD |
| Sud-est de l'Australie (Melbourne) | ap-melbourne-1 | MEL |
| Est du Brésil (São Paulo) | sa-saopaulo-1 | GRU |
| Sud-est du Canada (Montréal) | ca-montreal-1 | YUL |
| Allemagne centrale (Francfort) | eu-frankfurt-1 | FRA |
| Nord de l'Indonésie (Batam) | ap-batam-1 | HSG |
| Centre du Japon (Osaka) | ap-osaka-1 | KIX |
| Est du Japon (Tokyo) | ap-tokyo-1 | NRT |
| Nord-ouest des Pays-Bas (Amsterdam) | eu-amsterdam-1 | AMS |
| Centre de l'Espagne (Madrid) | eu-madrid-1 | MAD |
| Ouest du Royaume-Uni (Newport) | uk-cardiff-1 | CWL |
| Sud du Royaume-Uni (Londres) | uk-london-1 | LHR |
| Est des Etats-Unis (Ashburn) | us-ashburn-1 | IAD |
| Midwest des Etats-Unis (Chicago) | us-chicago-1 | ORD |
| Ouest des Etats-Unis (Phoenix) | us-phoenix-1 | PHX |
| Ouest des Etats-Unis (San José) | us-sanjose-1 | SJC |
Certaines régions ne proposent pas de stockage de fichiers avec Lustre.
Reportez-vous à A propos des régions et du domaine de disponibilité pour obtenir une liste complète des régions OCI disponibles, ainsi que des emplacements associés, les identificateurs d'une région, les clés d'une région et le domaine de disponibilité.
Authentification et autorisation
Chaque service dans Oracle Cloud Infrastructure s'intègre à IAM pour l'authentification et l'autorisation de gestion des ressources OCI, pour toutes les interfaces (console, kit SDK ou CLI, et API REST).
Un administrateur de votre organisation doit configurer des groupes, des compartiments et des stratégies qui déterminent les services et les ressources auxquels les utilisateurs peuvent accéder, ainsi que le type d'accès. Par exemple, les stratégies déterminent qui peut créer des utilisateurs, des groupes et des compartiments, ou qui peut créer et gérer des déploiements virtuels.
- Si vous êtes un nouvel administrateur, reportez-vous à Introduction aux stratégies.
- Pour plus de détails sur l'écriture de stratégies pour ce service, reportez-vous à File Storage with Lustre Policies.
- Afin d'obtenir des détails sur l'écriture de stratégies pour les ressources dans d'autres services, reportez-vous à Référence de stratégie.
Sécurité
Pour obtenir des informations et des recommandations sur la sécurité, reportez-vous à Sécurisation d'Oracle Cloud Infrastructure File Storage with Lustre.
Méthodes d'accès à Oracle Cloud Infrastructure
Vous pouvez accéder à File Storage à l'aide de ressources Lustre via la console (interface basée sur un navigateur), l'interface de ligne de commande d'Oracle Cloud Infrastructure ou les API REST. Pour accéder à la console, vous devez utiliser un navigateur pris en charge.
Les instructions relatives aux trois méthodes sont incluses dans ce guide.
- La console OCI est une interface simple d'utilisation basée sur le navigateur. Pour accéder à la console, vous devez utiliser un navigateur pris en charge.
- Les API REST fournissent le plus de fonctionnalités, mais nécessitent une expertise en programmation. Les adresses et références d'API fournissent des détails sur les adresse et des liens vers les documents d'API disponibles, y compris le stockage de fichiers avec les API Lustre.
- OCI fournit des kits SDK qui interagissent avec File Storage avec Lustre.
- L'interface de ligne de commande offre un accès rapide et des fonctionnalités complètes sans avoir besoin de programmation.
- Pour utiliser l'interface de commande OCI ou l'API REST, vous pouvez configurer votre environnement ou utiliser Oracle Cloud Infrastructure Cloud Shell.
- Pour utiliser l'interface de ligne de commande ou les API REST dans Cloud Shell, connectez-vous à la console. Reportez-vous à Utilisation de Cloud Shell et à Référence des commandes de l'interface de ligne de commande.
- Pour installer l'interface de ligne de commande OCI dans votre environnement, suivez les étapes de démarrage rapide dans Installation de l'interface de ligne de commande.
- Lorsque vous utilisez des API REST, reportez-vous à la documentation relative aux API REST et à Adresses et référence d'API.
Limites relatives au stockage de fichiers avec les ressources Lustre
Reportez-vous aux limites File Storage with Lustre et aux limites de service pour connaître les limites applicables et les instructions permettant de demander une augmentation des limites.
Pour définir des limites propres au compartiment sur les systèmes de fichiers, les administrateurs peuvent utiliser Présentation des quotas de compartiment.