Implantar o Blueprint

Certifique-se de ter acesso a uma tenancy do OCI e de ter privilégios de administrador para fornecer instâncias de CPU/GPU suficientes.

1. Instale um cluster do OKE usando o módulo Terraform abaixo. Um cluster do OKE com um único pool de nós será criado com 6 nós de trabalho.
   1. Clique em Implantar no Oracle Cloud abaixo.

      

      Se você ainda não tiver acessado, informe as credenciais da tenancy e do usuário.

   2. Dê à sua pilha um nome (por exemplo, oke-stack).
   3. Selecione o compartimento no qual você deseja implantar os Blueprints do OCI AI.
   4. Forneça quaisquer parâmetros adicionais (como tamanho do nó, contagem de nós) de acordo com suas preferências.
   5. Clique em Próximo, em Criar e, por fim, clique em Executar aplicação para provisionar seu cluster.
2. Acesse a console do Oracle Cloud Infrastructure e, na home page, clique em Storage e, em seguida, em Object Storage, clique em Buckets. Forneça um nome de bucket que você usará na implantação do OCI AI Blueprints.

   Clique no bucket criado e clique no link Solicitações pré-autenticadas (PAR) em Recursos. Dê um nome para PAR, altere o Tipo de acesso para Permitir leituras e gravações de objetos e clique em Solicitações pré-autenticadas. Quando a operação for concluída, copie o URL da PAR e salve-o em algum lugar, pois você precisará dele ao implantar o blueprint de Inferência da CPU.

3. Instale os Blueprints do OCI AI no novo cluster do OKE. Após a implantação bem-sucedida, você terá um URL para acessar a console do OCI AI Blueprints.

   

4. Na página principal do OCI AI Blueprints, há vários projetos disponíveis para implantação em Binário do Blueprint, role para baixo e clique em Implantar em Inferência de CPU.
   1. Selecione Inferência de CPU com mistral e o VM-Standard.E4. Opção flexível.

      Use os parâmetros padrão e altere o URL da solicitação pré-autenticada criado acima. Não altere nenhum valor na seção Configurar Parâmetros.

      Observe os parâmetros:

      "recipe_container_env": [
      {
      
      "key": "MODEL_NAME",
      
      "value": "mistral"
      
      },
      
      {
      
      "key": "PROMPT",
      
      "value": "What is the capital of Spain?"
      
      }
      

      Após a implantação bem-sucedida do blueprint de Inferência de CPU, a saída do prompt acima será exibida no log do Pod do Kubernetes.

   2. Clique em Implantar Blueprint. Assim que o blueprint for implantado com sucesso, você notará um nome como inferência de cpu E4Flex que lista um status de implantação do serviço Monitoringcom a data de criação e o número de nós e formas E4.
   3. Na lista Implantação, clique no link cpu inference mistral E4Flex, que o levará aos detalhes da implantação com o ponto final público. Clique no ponto final público. Você verá uma mensagem como "ollama is running".
   4. Retorne à página cpu inference mistral E4Flex e role para baixo até Logs de pod. Clique em Exibir e Detalhes do log. Uma página semelhante à seguinte será exibida, resultando na saída.