Gestione dei modelli importati

Prima di importare un modello direttamente da Hugging Face:

• Decidere quale modello convalidato da Hugging Face importare e prendere nota della forma di unità hardware del cluster AI dedicata consigliata.
• Per accedere e utilizzare alcuni modelli, è necessario un token Hugging Face, in particolare le versioni più recenti e con accesso controllato come Llama 3 e Llama 3.1. Per questi modelli, generare un token di accesso dalle impostazioni dell'account Hugging Face in Token di accesso. Assicurarsi che disponga delle autorizzazioni necessarie (almeno l'accesso in "lettura").

Prima di importare un modello da un bucket di storage degli oggetti:

• Se non sei un amministratore OCI, chiedi a uno di concedere a IAM l'autorizzazione per gestire lo storage degli oggetti nel compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decidere un modello che funziona con l'endpoint /v1/chat/completions: solo questi modelli sono supportati.
• Assicurarsi che il modello supporti solo una di queste funzionalità:
  • TEXT_TO_TEXT: testo in entrata e testo in uscita
  • IMAGE_TEXT_TO_TEXT: immagine o testo o entrambi in, text out
  • AUDIO_TO_TEXT: audio in uscita, testo in uscita
  • EMBEDDING: testo in entrata, incorporamenti vettoriali in uscita
  • RERANK: query e documenti dei candidati, punteggi di pertinenza e un elenco riordinato in uscita
• Salva gli artifact del modello in un bucket di storage degli oggetti.
• Importante: il file di configurazione deve essere denominato config.json per un'importazione riuscita, simile alla maggior parte dei modelli Hugging Face.

Quando si crea un cluster AI dedicato di hosting per un modello importato, selezionare il modello importato e una forma di unità hardware compatibile disponibile nell'area di destinazione. I nomi forma unità modello importati non includono un prefisso fornitore-modello. Ad esempio, selezionare H100_X2 o A100_80G_X1 anziché un valore specifico del provider, ad esempio Cohere_H100_X2.

Prima di creare il cluster, vedere Forme unità hardware modello importate, limiti del servizio e conteggi unità AI per:

• Identificare le forme hardware disponibili nell'area di destinazione.
• Selezionare una forma di unità hardware importata-modello.
• Individuare il nome del limite di servizio e le unità hardware necessarie.
• Trova il conteggio delle unità AI per il calcolo del prezzo orario.

Dopo aver eseguito i prerequisiti e importato un modello, è possibile eseguire i task riportati di seguito sui modelli importati.

• Elenca i modelli importati
• Recupera i dettagli di un modello importato
• Aggiorna un modello importato
• Sposta un modello importato
• Elimina un modello importato