Gestione dei modelli importati (nuovo)

Prima di importare un modello direttamente da Hugging Face:

• Decidere quale modello supportato da Hugging Face importare e annotare la dimensione dell'unità cluster AI dedicata consigliata.
• Per accedere e utilizzare alcuni modelli, è necessario un token Hugging Face, in particolare le versioni più recenti e con accesso controllato come Llama 3 e Llama 3.1. Per questi modelli, generare un token di accesso dalle impostazioni dell'account Hugging Face in Token di accesso. Assicurarsi che disponga delle autorizzazioni necessarie (almeno l'accesso in "lettura").

Prima di importare un modello da un bucket di storage degli oggetti:

• Se non sei un amministratore OCI, chiedi a uno di concedere a IAM l'autorizzazione per gestire lo storage degli oggetti nel compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decidere un modello che funziona con l'endpoint /v1/chat/completions: solo questi modelli sono supportati.
• Assicurarsi che il modello supporti solo una di queste funzionalità:
  • TEXT_TO_TEXT: testo in entrata e testo in uscita
  • IMAGE_TEXT_TO_TEXT: immagine o testo o entrambi in, text out
  • EMBEDDING: testo in entrata, incorporamenti vettoriali in uscita
  • RERANK: query e documenti dei candidati, punteggi di pertinenza e un elenco riordinato in uscita
• Salva gli artifact del modello in un bucket di storage degli oggetti.
• Importante: il file di configurazione deve essere denominato config.json per un'importazione riuscita, simile alla maggior parte dei modelli Hugging Face.

Per raggiungere un modello importato, creare un endpoint per tale modello su un cluster AI dedicato. Utilizzare la tabella seguente per richiedere risorse cluster AI dedicate prima di importare un modello.

Dopo aver eseguito i prerequisiti e importato un modello, è possibile eseguire i task riportati di seguito sui modelli importati.

• Elenca i modelli importati
• Recupera i dettagli di un modello importato
• Aggiorna un modello importato
• Sposta un modello importato
• Elimina un modello importato