Visão Geral do Serviço File Storage com o Lustre
O Oracle Cloud Infrastructure (OCI) File Storage com Lustre é um serviço de armazenamento totalmente gerenciado projetado para atender às demandas de treinamento e inferência de IA/ML e necessidades de computação de alto desempenho.
O File Storage com Lustre automatiza as tarefas de implementação, dimensionamento e manutenção do Lustre de código aberto, permitindo que você se concentre em aplicativos em vez do gerenciamento de infraestrutura do Lustre. A OCI implementa e mantém todos os componentes do servidor Lustre, incluindo servidores de metadados, servidores de gerenciamento e servidores de armazenamento.
Para obter mais informações sobre o Lustre de código aberto, consulte Introduction to Lustre.
Recursos
Os principais recursos do File Storage com Lustre incluem:
- Arquitetura distribuída paralela
- O File Storage com Lustre é construído em uma arquitetura distribuída paralela, permitindo o tratamento eficiente de cargas massivas de dados. Os sistemas de arquivos podem dimensionar e fornecer altas velocidades agregadas, garantindo processamento rápido de dados e alto rendimento.
- Serviço totalmente gerenciado
- A implementação, o dimensionamento e a manutenção automatizados simplificam o gerenciamento dos usuários, eliminando a complexidade tradicionalmente associada à configuração e manutenção de componentes de infraestrutura da Lustre.
- Pronto para produção para IA e ML
- O File Storage com Lustre é capaz de lidar com grandes quantidades de dados, tornando-o uma escolha ideal para organizações que buscam aproveitar análises de big data e modelos de IA sofisticados.
Conceitos
- Desempenho
-
O File Storage com Lustre oferece quatro camadas de desempenho:
- 125 MBps (1Gbps) por provisionado TiB
- 250 MBps (2 Gbps) por TiB provisionado
- 500 MBps (4 Gbps) por TiB provisionado
- 1000 MBps (8 Gbps) por TiB provisionado
Os administradores são responsáveis por qualquer otimização de desempenho no lado do cliente. Eles podem usar os utilitários Lustre
lfspara recursos de otimização de desempenho, como distribuição de arquivos e layout de arquivo progressivo (PFL). - Clientes Lustre
-
Os administradores são responsáveis por implantar clientes Lustre nos hosts de GPU ou em outros hosts do serviço Compute que precisam de acesso ao sistema de arquivos.
O File Storage com Lustre usa o Lustre versão 2.15.5 e você pode usar clientes 2.15.5 para o seguinte sistema operacional:
- Ubuntu 22.04 com kernel 5.15.x
- Oracle Linux 8 com RHCK (Red Hat Compatible Kernel) 4.18
Para obter mais informações, consulte Montando e Acessando um Lustre File System. Se precisar de ajuda com os clientes Lustre, entre em contato com o suporte.
Disponibilidade
A Oracle hospeda seus serviços do OCI em regiões e domínios de disponibilidade. Região é uma área geográfica localizada e domínio de disponibilidade é um ou mais data centers nessa região. O OCI File Storage com Lustre está hospedado nas seguintes regiões:
| Nome da Região | Identificador da Região | Chave da Região |
|---|---|---|
| Leste da Austrália (Sidney) | ap-sydney-1 | SYD |
| Sudeste da Austrália (Melbourne) | ap-melbourne-1 | MEL |
| Leste do Brasil (São Paulo) | sa-saopaulo-1 | GRU |
| Sudeste do Canadá (Montreal) | ca-montreal-1 | YUL |
| Centro da Alemanha (Frankfurt) | eu-frankfurt-1 | FRA |
| Norte da Indonésia (Batam) | ap-batam-1 | HSG |
| Centro do Japão (Osaka) | ap-osaka-1 | KIX |
| Leste do Japão (Tóquio) | ap-tokyo-1 | NRT |
| Noroeste da Holanda (Amsterdã) | eu-amsterdam-1 | AMS |
| Espanha Central (Madri) | eu-madrid-1 | MAD |
| Singapura (Cingapura) | ap-singapore-1 | SIN |
| Centro dos EAU (Abu Dhabi) | me-abudhabi-1 | AUH |
| Oeste do Reino Unido (Newport) | uk-cardiff-1 | CWL |
| Sul do Reino Unido (Londres) | uk-london-1 | LHR |
| Leste dos EUA (Ashburn) | us-ashburn-1 | IAD |
| Centro-Oeste dos EUA (Chicago) | us-chicago-1 | ORD |
| Oeste dos EUA (Phoenix) | us-phoenix-1 | PHX |
| Oeste dos EUA (San Jose) | us-sanjose-1 | SJC |
Algumas regiões não oferecem o File Storage com o Lustre.
Consulte Sobre Regiões e Domínios de Disponibilidade para obter uma lista completa de regiões do OCI disponíveis, além de locais associados, identificadores da região, chaves da região e domínios de disponibilidade.
Autenticação e Autorização
Cada serviço do Oracle Cloud Infrastructure se integra ao IAM para autenticação e autorização para gerenciamento de recursos do OCI, para todas as interfaces (Console, SDK ou CLI e API REST).
Um administrador da sua organização precisa configurar grupos, compartimentos e políticas que controlem quais usuários podem acessar quais serviços e quais recursos. e o tipo de acesso que eles têm. Por exemplo, as políticas controlam quem pode criar usuários, grupos e compartimentos ou quem pode criar e gerenciar implantações virtuais.
- Se você for um novo administrador, consulte Conceitos Básicos de Políticas.
- Para obter detalhes sobre como gravar políticas para este serviço, consulte File Storage com Políticas do Lustre.
- Para obter detalhes sobre a criação de políticas para recursos de outros serviços, consulte a Referência de Política.
Segurança
Para obter informações e recomendações de segurança, consulte Protegendo o Oracle Cloud Infrastructure File Storage with Lustre.
Maneiras de Acessar o Oracle Cloud Infrastructure
Você pode acessar a área de Armazenamento de Arquivos com recursos Lustre usando a Console (uma interface baseada em browser), a CLI da Oracle Cloud Infrastructure ou APIs REST. Para acessar a Console, você deve usar um browser suportado.
As instruções para os três métodos estão presentes em todo este guia.
- A Console do OCI é uma interface simples de usar e baseada em browser. Para acessar a Console, você deve usar um browser suportado.
- As APIs REST fornecem a maior parte da funcionalidade, mas requerem experiência em programação. O serviço API Reference and Endpoints fornece detalhes de ponto de extremidade e links para os documentos disponíveis de referência à API, incluindo o File Storage com APIs Lustre.
- A OCI fornece SDKs que interagem com o File Storage com o Lustre.
- A CLI (Interface de Linha de Comando) fornece acesso rápido e funcionalidade completa sem a necessidade de programação.
- Para usar a CLI do OCI ou APIs REST, você pode configurar seu ambiente ou usar o Oracle Cloud Infrastructure Cloud Shell.
- Para usar a CLI ou as APIs REST no Cloud Shell, acesse a Console. Consulte Usando o Cloud Shell e a Referência de Comando da CLI.
- Para instalar a CLI do OCI em seu ambiente, siga as etapas no Início Rápido da Instalação da CLI.
- Ao usar APIs REST, consulte a documentação da API REST e Referência e Pontos Finais da API.
Limites do Serviço File Storage com Recursos Lustre
Consulte Armazenamento de Arquivos com Limites Lustre e Limites por Serviço para visualizar uma lista de limites e instruções aplicáveis para solicitar um aumento de limite.
Para definir limites específicos de compartimento nos sistemas de arquivos, os administradores podem usar Visão Geral de Cotas de Compartimento.