Documentazione dell'infrastruttura Oracle Cloud

Modelli Alibaba compatibili

Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.

Nota

Prima di selezionare un modello, esaminare le istruzioni riportate nelle tabelle modello in questa pagina per selezionare una forma di unità hardware compatibile e comprendere la fatturazione per i cluster AI dedicati che ospitano i modelli importati.

Famiglia di modelli Alibaba Qwen, dotata di avanzate capacità multilingue e multimodali. Per le schede modello su Hugging Face, vedere i collegamenti nelle tabelle seguenti.

Qwen 3 Next

Modello Qwen 3 Next compatibile
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen3-Next-80B-A3B-Istruzioni TEXT_TO_TEXT
  • A100_80G_X4
  • H100_X4
  • H200_X4

Qwen 3.8

Modelli compatibili Qwen 3.8
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen3.8-Flash-Next IMAGE_TEXT_TO_TEXT
  • A100_80G_X8
  • H100_X8
  • H200_X4
Qwen/Qwen3.8-27B IMAGE_TEXT_TO_TEXT
  • A100_40G_X2
  • A100_80G_X1
  • H100_X1
  • H200_X1
  • B200_X1
  • B300_X1
Qwen3.8-2.4T-A95B-FP8 TEXT_TO_TEXT
  • B200_X16

Qwen 3.6

Modelli compatibili Qwen 3.6
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen3.6-35B-A3B-FP8 IMAGE_TEXT_TO_TEXT
  • A100_40G_X2
  • A100_80G_X1
  • H100_X1
  • H200_X1
Qwen/Qwen3.6-35B-A3B IMAGE_TEXT_TO_TEXT
  • A100_80G_X2
  • H100_X2
  • H200_X1
  • B200_X1
Nota

Dopo aver importato Qwen/Qwen3.6-35B-A3B e creato un endpoint su un cluster AI dedicato di hosting, è possibile chiamare il modello tramite l'API Risposte OCI. Per l'elenco completo dei modelli di chat disponibili per l'API Risposte, vedere Modelli disponibili.

Qwen 3.5

Modello Qwen 3.5 compatibile
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen3.5-397B-A17B IMAGE_TEXT_TO_TEXT
  • H200_X8
  • B200_X8
  • B300_X4
Qwen/Qwen3.5-9B IMAGE_TEXT_TO_TEXT
  • A100_80 GB_X1
  • H100_X1
  • H200_X1
  • B200_X1

Immagine Qwen

Modelli compatibili Qwen Image
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen-Image TEXT_TO_IMAGE A100_80G_X1
Qwen/Qwen-Image-Modifica IMAGE_TEXT_TO_IMAGE A100_80G_X1
Qwen/Qwen-Image-2512 TEXT_TO_IMAGE A100_80G_X1
Qwen/Qwen-Image-Edit-2511 IMAGE_TEXT_TO_IMAGE A100_80G_X1
Qwen/Qwen-Image-Edit-2509 IMAGE_TEXT_TO_IMAGE A100_80G_X1
Nota

  • response_format: "url" non funziona e restituisce un errore di richiesta HTTP 400 errato.
  • n (numero di immagini): solo 0 o 1 funzionano.
  • Lo streaming non è compatibile.
  • Le dimensioni delle immagini non standard potrebbero essere arrotondate (ad esempio, 999x999 → 992x992) anziché restituire un protocollo HTTP 400 (a differenza dell'API OpenAI).
  • La trasparenza potrebbe non funzionare a causa delle limitazioni del modello.

Qwen Q (motivazione)

Modelli compatibili Qwen Q
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/QwQ-32B TEXT_TO_TEXT A100_80G_X2

Qwen 3

Modelli compatibili Qwen 3
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen3-Incorporazione-0.6B INTEGRAZIONE A10_X1
Qwen/Qwen3-Incorporazione-4B INTEGRAZIONE A10_X2
Qwen/Qwen3-Incorporazione-8B INTEGRAZIONE A100_80G_X1
Qwen/Qwen3-0.6B TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-1.7B TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-4B TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-8B TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-14B TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-32B TEXT_TO_TEXT A100_80G_X2
Qwen/Qwen3-4B-Instruct-2507 TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen3-30B-A3B-Instruct-2507 TEXT_TO_TEXT A100_80G_X2
Qwen/Qwen3-235B-A22B-Instruct-2507 TEXT_TO_TEXT H100_X8
Qwen/Qwen3-VL-30B-A3B-Istruzioni IMAGE_TEXT_TO_TEXT H100_X2
Qwen3-VL-30B-A3B-Instruct-FP8 IMAGE_TEXT_TO_TEXT
  • H100_X2
  • H200_X2
Qwen/Qwen3-VL-235B-A22B-Istruzioni IMAGE_TEXT_TO_TEXT H100_X8

Qwen 2.5

Modelli compatibili Qwen2.5
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen2.5-Coder-32B-Istruzioni TEXT_TO_TEXT A100_80G_X2
Qwen/Qwen2.5-0.5B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2.5-1.5B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2.5-3B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2.5-7B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2.5-14B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2.5-32B-Istruzioni TEXT_TO_TEXT A100_80G_X2
Qwen/Qwen2.5-72B-Istruzioni TEXT_TO_TEXT A100_80G_X4
Qwen/Qwen2.5-VL-3B-Istruzioni TESTO_IMMAGINE_TESTO_TESTO
  • A100_40G_X1
  • A100_80G_X1
  • H100_X1
  • H200_X1
Qwen/Qwen2.5-VL-7B-Istruzioni TESTO_IMMAGINE_TESTO_TESTO
  • A10_X4
  • A100_40G_X2
  • A100_80G_X1
  • H100_X1
  • H200_X1
Qwen/Qwen2.5-VL-32B-Istruzioni TESTO_IMMAGINE_TESTO_TESTO
  • A100_40G_X4
  • A100_80G_X2
  • H100_X2
  • H200_X1
Qwen/Qwen2.5-VL-72B-Istruzioni TESTO_IMMAGINE_TESTO_TESTO
  • A100_80G_X4
  • H200_X2

Qwen 2

Modelli compatibili Qwen2
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata minima
Qwen/Qwen2-0.5B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2-1.5B-Istruzioni TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2-7B-Istruzioni TESTO_A_TESTO A100_80G_X1
Qwen/Qwen2-72B-Istruzioni TESTO_A_TESTO A100_80G_X4
Qwen/Qwen2-VL-2B-Istruzioni TESTO_IMMAGINE_TESTO_TESTO A100_80G_X1
Qwen/Qwen2-VL-7B-Istruzioni IMAGE_TEXT_TO_TEXT A100_80G_X1
Qwen/Qwen2-VL-72B-Istruzioni IMAGE_TEXT_TO_TEXT A100_80G_X4
Importante

  • Per i modelli importati, è possibile utilizzare la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata dall'impostazione hardware di base selezionata per l'hosting di cluster AI dedicati in OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
  • Requisiti del modello ottimizzati

    È possibile ottimizzare i modelli di base supportati elencati in questa pagina al di fuori dell'AI generativa OCI e importare i modelli risultanti se soddisfano i requisiti seguenti:

    • Il modello ottimizzato deve utilizzare la stessa versione di Hugging Face Transformers del modello di base supportato. Per una spiegazione del campo di metadati transformers_version in config.json, vedere Comprendere i metadati di configurazione.
    • Il conteggio totale dei parametri deve essere compreso tra ±10% del modello di base originale.

    Per i modelli ottimizzati con LoRA:

    • Prima della distribuzione, unire i pesi dell'adattatore LoRA nel modello di base.
    • È possibile unire automaticamente i pesi utilizzando PEFT o un repository o uno strumento simile.
    • L'unione rende il modello trasparente al motore di servizio e fornisce le migliori prestazioni.
    • Ogni modello ottimizzato può contenere i pesi uniti di una sola scheda LoRA.

    Per informazioni sulla preparazione dell'esportazione, sui controlli dei tipi di dati e sulla Guida sugli errori di convalida, vedere Importazione di modelli ottimizzati.

  • Per decidere dove ospitare un modello importato, trovare una forma di unità compatibile per il modello nella tabella in questa pagina, quindi verificare che la forma hardware sia disponibile nell'area di destinazione in Forme unità hardware per area. Un modello può essere ospitato in un'area solo quando l'area fornisce una forma hardware elencata per tale modello.
  • Per i passi su come distribuire i modelli importati, vedere Gestione dei modelli importati.
  • Per sostituire un modello in un cluster AI dedicato hosting esistente, vedere Switching Models on Dedicated AI Clusters.
Nota

Fatturazione per cluster AI dedicati che ospitano modelli importati

I cluster AI dedicati che ospitano modelli importati non richiedono l'impegno minimo di 744 ore che si applica AI cluster AI dedicati che ospitano modelli pre-addestrati disponibili nell'AI generativa OCI. Invece, un cluster AI dedicato modello importato ha una durata fatturabile minima di un'ora. Ad esempio, un cluster che utilizza un'unità AI ed è in esecuzione per 30 minuti viene fatturato per un'unità oraria AI.

Dopo la prima ora, i costi si basano sul tempo di esecuzione effettivo del cluster e vengono ripartiti proporzionalmente al millisecondo. Ad esempio, un cluster che viene eseguito per un'ora e un minuto viene fatturato per tale durata, anziché per due ore complete.

OCI invia record d'uso alla misurazione e alla fatturazione ogni cinque minuti durante l'esecuzione del cluster. Se il cluster viene eliminato prima del raggiungimento del valore minimo di un'ora, OCI continua a generare report sull'uso fatturabile fino a quando non viene raggiunto il valore minimo. Se il cluster viene eseguito per più di un'ora, OCI continua a inviare record di utilizzo ogni cinque minuti fino all'eliminazione del cluster.