NVIDIA AI Enterprise no OCI Compute

O NVIDIA AI Enterprise requer um conjunto específico de drivers de GPU para executar seus contêineres. A OCI suporta sistemas operacionais Ubuntu e Oracle Linux GPU. Drivers específicos de NVAIE incluídos nas imagens base do Oracle Linux.

NVAIE Requisitos do driver

• Driver NVIDIA versão 560 ou posterior.

  Se você estiver executando em uma GPU de data center, por exemplo, uma NVidia A100, poderá usar o driver NVIDIA versão 470.57 ou posterior, 535.86 ou posterior, ou 550.54 ou posterior.

• NVIDIA Docker 23.0.1 ou posterior.
• CUDA 12.6.1 ou mais recente.

Para criar uma instância, siga as etapas descritas na etapa Criando uma Instância.

Ao acessar a seção Imagem e Forma, siga estas etapas.

• Selecione Alterar imagem.
• Selecione uma imagem do Oracle Linux ou Ubuntu. Escolha Selecionar imagem.
• Em Forma, selecione Alterar forma.
• Para Tipo de instância, selecione Máquina bare metal.

  Todas as formas de GPU NVidia disponíveis são exibidas

• Selecione qualquer forma NVidia disponível com base nas suas necessidades de implantação. Escolha Selecionar forma.
• Para ativar o NVidia AI Enterprise para essa instância, selecione Ativar NVIDIA AI Enterprise.
• Selecione Próximo.
• Continue concluindo as etapas listadas para Criando uma Instância.
• Selecione Criar para criar a instância.

Crie uma configuração de instância para definir um modelo de instância que você possa usar para criar mais instâncias. É necessária uma configuração de instância para criar um Pool de Instâncias.

Para criar uma configuração de instância, siga as etapas descritas em Criando uma Configuração de Instância.

Ao acessar a seção Imagem e Forma, siga estas etapas.

• Selecione Alterar imagem.
• Selecione uma imagem do Oracle Linux ou Ubuntu. Escolha Selecionar imagem.
• Em Forma, selecione Alterar forma.
• Para Tipo de instância, selecione Máquina bare metal.

  Todas as formas de GPU NVidia disponíveis são exibidas

• Selecione qualquer forma NVidia disponível com base nas suas necessidades de implantação. Escolha Selecionar forma.
• Para ativar o NVidia AI Enterprise para essa instância, selecione Ativar NVIDIA AI Enterprise.
• Selecione Próximo.
• Continue concluindo as etapas listadas para Criando uma Configuração de Instância.
• Selecione Criar para criar a configuração da instância.

Para criar um pool de instâncias, siga as etapas descritas em Criando Pools de Instâncias.

Na seção de detalhes básicos, selecione a configuração da instância criada usando uma forma NVidia.

Continue seguindo as etapas em Criando Pools de Instâncias até que o pool de instâncias seja criado.

Você pode importar contêineres NVAIE e gráficos Helm do Marketplace. Siga estas etapas para navegar até o marketplace.

• No menu principal, selecione Mercado.
• Em Marketplace, selecione Todos os aplicativos. A página principal do Marketplace é exibida.
• Use o filtro Tipo para selecionar imagens de contêiner ou gráficos Helm.
• Por exemplo, para identificar gráficos NVAIE Helm, você pode digitar uma string como Llama-3.1-8B-Instruct-NIM-microservice para exibir gráficos Llama 3.

O Oracle Cloud Infrastructure Registry (OCIR), também conhecido como Container Registry, é um registro gerenciado pela Oracle que facilita o armazenamento, o compartilhamento e o gerenciamento de imagens de contêiner (como imagens do Docker). Para adicionar um contêiner de marketplace do NVAIE ao seu OCIR, siga estas etapas.

• No menu principal, selecione Mercado.
• Em Marketplace, selecione Todos os aplicativos. A página principal do Marketplace é exibida.
• Use o filtro Tipo para selecionar imagens do Contêiner.
• Selecione um contêiner.
• Selecione Exportar Pacote.
• Preencha as seguintes informações:
  • Compartimento: Selecione um compartimento.
  • Registro do OCI: Selecione um registro existente ou crie um novo. As etapas a seguir são para criar um novo registro.
  • Nome do registro: Informe um nome para seu registro.
  • Acesso: Selecione Privado ou Público.
• Aceite os termos e condições do contêiner.
• Selecione Exportar. A instância do OCIR é criada e o componente NVAIE selecionado é copiado.

Depois de criar uma imagem de contêiner NVAIE, você poderá implantá-la em uma instância. As etapas a seguir fornecem um exemplo.

• Extraia a imagem do contêiner do OCIR:

  docker pull {region}.ocir.io/{your_ocir_repo}/nvaie-multi-llm-nim:1.14.0

• Criar um cache local.
  Observação
  
  Esta é uma etapa opcional, mas o resultado mantém pesos grandes fora da camada gravável.

  mkdir -p ~/.cache/nim

• Execute o contêiner.

  docker run -d --gpus all -p 8000:8000 -v ~/.cache/nim:/opt/nim/.cache  {region}.ocir.io/{your_ocir_namespace}/nvaie-multi-llm-nim:1.14.0

• Faça um teste rápido de fumaça.

  curl http://localhost:8000/v1/models

Durante a execução, o contêiner Multi-NIM requer um modelo para sua inicialização de renderização. Na OCI, esses modelos são armazenados em todas as regiões do OC1 (o realm comercial) nos buckets do S3. O contêiner consome as seguintes variáveis de ambiente:

        -e AWS_ACCESS_KEY_ID="$AWS_ACCESS_KEY_ID" \
        -e AWS_SECRET_ACCESS_KEY="$AWS_SECRET_ACCESS_KEY" \
        -e AWS_REGION="${region}" \
        -e AWS_ENDPOINT_URL="https://bmcinfraorch.compat.objectstorage.${region}.oraclecloud.com/" \
        -e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct"

-e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct"

image='iad.ocir.io/imagegen/nvaie-multi-llm-nim:1.14.0'
region='us-ashburn-1'
docker run \
        --gpus all \
        --ipc=host \
        --ulimit memlock=-1 \
        --ulimit stack=67108864 \
        -p 8000:8000  \
        -e AWS_ACCESS_KEY_ID="$AWS_ACCESS_KEY_ID" \
        -e AWS_SECRET_ACCESS_KEY="$AWS_SECRET_ACCESS_KEY" \
        -e AWS_REGION="${region}" \
        -e AWS_ENDPOINT_URL="https://bmcinfraorch.compat.objectstorage.${region}.oraclecloud.com/" \
        -e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct" \
        $image