Informazioni sul ritiro del modello
OCI Generative AI ritira i suoi modelli linguistici di grandi dimensioni (LLM, large language model) in base al tipo e alla modalità di servizio di ciascun modello. Gli LLM servono le richieste degli utenti in modalità on-demand o dedicata. Esaminare le sezioni seguenti per informazioni su ciascuna modalità di servizio e su come ricevere una notifica prima che un modello venga ritirato.
Modalità su richiesta
- È possibile pagare man mano per ogni chiamata di inferenza quando si utilizzano i modelli nell'area di gioco o quando si chiamano i modelli tramite l'API.
- Disponibile per i modelli di base pre-addestrati nell'intelligenza artificiale generativa nelle aree non elencate come (solo cluster AI dedicato).
- Smobilizzo per modalità su richiesta
-
Quando un modello viene ritirato in modalità su richiesta, non è più disponibile per l'uso nell'area di gioco del servizio AI generativa o tramite l'API di inferenza AI generativa.
- Non più valido per la modalità su richiesta
-
Quando un modello non è più valido in modalità su richiesta, rimane disponibile nel servizio di intelligenza artificiale generativa, ma dispone di un periodo di tempo definito in cui può essere utilizzato prima del ritiro. Questo periodo di tempo è più lungo per la modalità dedicata.
Per i modelli di AI generativa OCI, consulta le date di ritiro del modello (modalità su richiesta).
Modalità dedicata
- Ottieni un set dedicato di GPU per i tuoi cluster AI dedicati.
- È possibile creare modelli personalizzati nei cluster AI dedicati, ottimizzando un sottoinsieme dei modelli di base pre-addestrati nell'intelligenza artificiale generativa elencati per l'ottimizzazione.
- È possibile ospitare repliche dei modelli di base e ottimizzati nei cluster AI dedicati.
- Si esegue il commit in anticipo di determinate ore di utilizzo dei cluster AI dedicati. Per i prezzi, vedere la pagina dei prezzi.
- Disponibile per i modelli di base pre-addestrati nell'intelligenza artificiale generativa in tutte le aree elencate.
- Smobilizzo per modalità dedicata
-
Quando un modello viene ritirato in modalità dedicata, non è più possibile creare un cluster AI dedicato per il modello ritirato, ma un cluster AI dedicato attivo che esegue un modello ritirato continua a essere eseguito. Un modello personalizzato, che sta eseguendo un modello ritirato, continua a essere disponibile anche per i cluster AI dedicati attivi e puoi continuare a creare nuovi cluster AI dedicati con un modello personalizzato creato su un modello ritirato. Tuttavia, Oracle offre un supporto limitato per questi scenari e la progettazione Oracle potrebbe richiedere di eseguire l'aggiornamento a un modello supportato per risolvere i problemi relativi al modello.
Per richiedere che un modello rimanga in vita più a lungo della data di ritiro in modalità dedicata, creare un ticket di supporto.
- Non più valida per la modalità dedicata
-
Quando un modello non è più valido nella modalità dedicata, rimane disponibile nel servizio AI generativa, ma ha un periodo di tempo definito per poter essere utilizzato prima del ritiro. Il tempo di deprecazione della modalità dedicata è più lungo del tempo di deprecazione su richiesta dello stesso modello.
Per i modelli di AI generativa OCI, consulta le date di ritiro dei modelli (modalità dedicata).