Pagando por Clusters de IA Dedicados
Você obtém os seguintes benefícios por usar clusters de IA dedicados na IA Gerativa do OCI:
- Preços previsíveis que não flutuam com a demanda.
- Ótimo para ajustar ou hospedar modelos.
- Compromisso mínimo de hospedagem: 744 unidades-horas por cluster de hospedagem.
- Compromisso de ajuste mínimo: 1 unidade-hora por tarefa de ajuste. (O ajuste fino requer 2 unidades para ser executado).
Para descobrir quais modelos estão disponíveis para ajuste fino, consulte Correspondendo Clusters a Modelos Base.
Os exemplos a seguir calculam o custo do cluster de IA dedicado na IA Gerativa do OCI. Para calcular o custo de inferência sob demanda, consulte Pagando por Inferência sob Demanda.
Hospedagem de um Modelo Básico - Exemplo 1
John deseja hospedar uma instância do modelo Cohere command (52 billion parameters) (cohere.command) em uma infraestrutura dedicada. John exclui o cluster após 40 dias e deseja saber o custo do cluster. Para hospedar um modelo cohere.command, John primeiro precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command. O tamanho da unidade para o modelo cohere.command é uma unidade Large Cohere. Consulte correspondendo clusters a modelos base.
John precisa de um mínimo de uma unidade Large Cohere para hospedar o modelo cohere.command. Aqui estão as etapas para calcular o custo de um cluster de hospedagem com uma unidade Large Cohere.
Hospedagem de um Modelo Básico - Exemplo 2
Alice quer hospedar uma instância do modelo Cohere command light (6 billion parameters) (cohere.command-light) em uma infraestrutura dedicada. Para hospedar um modelo cohere.command-light, primeiro o Alice precisa identificar o tamanho da unidade que pode hospedar o modelo de luz de comando. O tamanho da unidade para a luz de comando é uma unidade Small Cohere. Consulte correspondendo clusters a modelos base.
Alice decide comprar três unidades de Small Cohere para lidar com um volume de chamada maior para o modelo do que uma única unidade forneceria. O Alice planeja excluir o cluster após cinco dias. Aqui estão as etapas para calcular o custo de um cluster de hospedagem com três unidades Small Cohere por cinco dias.
Ajustando e Hospedando um Exemplo de Modelo
Bob deseja ajustar um modelo Cohere command (52 billion parameters) (cohere.command). Bob cria um cluster de IA de ajuste fino dedicado com o valor predefinido de duas unidades Large Cohere. Bob cria um modelo personalizado no ajuste dedicado e ajusta um modelo básico com dados de treinamento. O trabalho de ajuste fino leva 5 horas para ser concluído. Bob cria um cluster de ajuste fino toda semana.
Para hospedar um modelo cohere.command, Bob precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command. O tamanho da unidade para o modelo cohere.command é uma unidade Large Cohere. Consulte correspondendo clusters a modelos base. Bob pode hospedar até 50 modelos ajustados em um único cluster de hospedagem. Aqui estão as etapas para calcular o custo mensal para ajuste fino e hospedagem dos modelos.