Modelli OpenAI compatibili
Puoi importare modelli compatibili dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.
Prima di selezionare un modello, esaminare le istruzioni riportate nelle tabelle modello in questa pagina per selezionare una forma di unità hardware compatibile e comprendere la fatturazione per i cluster AI dedicati che ospitano i modelli importati.
OpenAI Whisper
Il modello OpenAI Whisper Large V3 Turbo è ottimizzato per il riconoscimento vocale automatico e i carichi di lavoro di trascrizione audio. Questo modello audio-testo è una versione ottimizzata di un modello Whisper Large V3 potato, con meno livelli di decoder per una trascrizione più rapida con un compromesso di qualità minore. Il modello supporta la trascrizione multilingue, l'identificazione della lingua e la traduzione vocale dalle lingue supportate al testo inglese ed è adatto per casi d'uso di elaborazione audio sensibili alla latenza e con throughput elevato. Per ulteriori dettagli, vedere OpenAI Whisper Large V3 Turbo nella documentazione Hugging Face.
| ID modello viso abbraccio | Capacità modello | Forma unità cluster AI dedicata minima |
|---|---|---|
| openai/whisper-large-v3-turbo | DA AUDIO A TESTO |
|
- Per i modelli importati, è possibile utilizzare la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata dall'impostazione hardware di base selezionata per l'hosting dei cluster AI dedicati in OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
- Utilizzare i modelli ottimizzati solo se corrispondono alla versione del trasformatore del modello di base compatibile e hanno un conteggio dei parametri entro ±10% dell'originale.
- Per decidere dove ospitare un modello importato, trovare una forma di unità compatibile per il modello nella tabella in questa pagina, quindi verificare che la forma hardware sia disponibile nell'area di destinazione in Forme unità hardware per area. Un modello può essere ospitato in un'area solo quando l'area fornisce una forma hardware elencata per tale modello.
- Per i passi su come distribuire i modelli importati, vedere Gestione dei modelli importati.
Fatturazione per cluster AI dedicati che ospitano modelli importati
I cluster AI dedicati che ospitano modelli importati non richiedono l'impegno minimo di 744 ore che si applica AI cluster AI dedicati che ospitano modelli pre-addestrati disponibili nell'AI generativa OCI. Invece, un cluster AI dedicato modello importato ha una durata fatturabile minima di un'ora. Ad esempio, un cluster che utilizza un'unità AI ed è in esecuzione per 30 minuti viene fatturato per un'unità oraria AI.
Dopo la prima ora, i costi si basano sul tempo di esecuzione effettivo del cluster e vengono ripartiti proporzionalmente al millisecondo. Ad esempio, un cluster che viene eseguito per un'ora e un minuto viene fatturato per tale durata, anziché per due ore complete.
OCI invia record d'uso alla misurazione e alla fatturazione ogni cinque minuti durante l'esecuzione del cluster. Se il cluster viene eliminato prima del raggiungimento del valore minimo di un'ora, OCI continua a generare report sull'uso fatturabile fino a quando non viene raggiunto il valore minimo. Se il cluster viene eseguito per più di un'ora, OCI continua a inviare record di utilizzo ogni cinque minuti fino all'eliminazione del cluster.