Modelos compatibles de Google
Puede importar modelos de lenguaje grandes de cubos de Hugging Face y OCI Object Storage a OCI Generative AI, crear puntos finales para esos modelos y utilizarlos en el servicio Generative AI.
Antes de seleccionar un modelo, revise las instrucciones que se muestran a continuación de las tablas de modelos de esta página para seleccionar una unidad de hardware compatible y comprender la facturación de los clusters de IA dedicados que alojan modelos importados.
MedGemma
Google MedGemma 27B Text IT es un modelo de lenguaje de 27 mil millones de parámetros basado en la arquitectura Gemma 3. Formado en literatura médica y registros clínicos, el modelo es sintonizado por instrucciones (IT), lo que le permite seguir mejor las solicitudes de los usuarios y ayudar a realizar tareas centradas en la atención médica, como responder preguntas médicas, apoyo clínico y resumir.
| ID de modelo facial de abrazo | Capacidad del modelo | Unidad de cluster de IA dedicada mínima |
|---|---|---|
| google/medgemma-27b-text-it | TEXT_TO_TEXT |
|
Gemma
Gemma 4 26B A4B IT soporta entradas de texto, imagen e imagen y texto combinados a través de la capacidad IMAGE_TEXT_TO_TEXT y genera texto. Para este modelo, la tabla muestra la unidad de cluster de AI dedicada más pequeña admitida en cada clase de acelerador admitida.
| ID de modelo facial de abrazo | Capacidad del modelo | Unidad de cluster de IA dedicada mínima |
|---|---|---|
| google/gemma-4-26B-A4B-it | IMAGE_TEXT_TO_TEXT |
|
| google/gemma-4-31b-it | TEXT_TO_TEXT |
|
| google/gemma-4-12B-it | IMAGE_TEXT_TO_TEXT |
|
| google/gemma-4-26B-A4B | IMAGE_TEXT_TO_TEXT |
|
| google/gemma-3-4b-it | TEXTO_IMAGEN A TEXTO | A100_80G_X1 |
| google/gemma-3-270m-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-3-27b-it | TEXTO_IMAGEN A TEXTO | A100_80G_X2 |
| google/gemma-3-12b-it | TEXTO_IMAGEN A TEXTO |
|
| google/gemma-3-1b-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-2-9b-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-2-27b-it | TEXTO_A_TEXTO | A100_80G_X2 |
| google/gemma-2-2b-it | TEXTO_A_TEXTO | A100_80G_X1 |
Después de importar google/gemma-4-31b-it y crear un punto final para él en un cluster de IA dedicado de alojamiento, puede llamar al modelo a través de la API de respuestas de OCI. Para obtener la lista completa de modelos de chat disponibles para la API de respuestas, consulte Modelos disponibles.
- Para los modelos importados, puede utilizar la longitud de contexto nativo especificada por el proveedor del modelo. Sin embargo, la longitud máxima efectiva del contexto está limitada por la configuración de hardware subyacente que seleccione para alojar clusters de IA dedicados en OCI Generative AI. Para aprovechar al máximo la longitud del contexto nativo de un modelo, puede que necesite aprovisionar más recursos de hardware.
- Requisitos de modelo ajustados
Puede ajustar los modelos base soportados que se muestran en esta página fuera de OCI Generative AI e importar los modelos resultantes si cumplen los siguientes requisitos:
- El modelo de ajuste debe utilizar la misma versión del transformador que el modelo base soportado.
- Su recuento total de parámetros debe estar dentro del ±10% del modelo base original.
Para los modelos ajustados con
LoRA:- Antes del despliegue, fusione los pesos del adaptador
LoRAen el modelo base. - Puede fusionar los pesos automáticamente mediante PEFT o un repositorio o herramienta similar.
- La fusión hace que el modelo sea transparente para el motor de servicio y proporciona el mejor rendimiento.
- Cada modelo ajustado puede contener los pesos fusionados de un solo adaptador
LoRA.
- Para decidir dónde puede alojar un modelo importado, busque una unidad compatible para el modelo en la tabla de esta página y, a continuación, confirme que la unidad de hardware está disponible en la región de destino en Unidades de unidad de hardware por región. Un modelo se puede alojar en una región solo cuando la región proporciona una unidad de hardware que se muestra para ese modelo.
- Para obtener más información sobre cómo desplegar los modelos importados, consulte Gestión de modelos importados.
Facturación para clusters de IA dedicados que alojan modelos importados
Los clusters de IA dedicados que alojan modelos importados no requieren el compromiso mínimo de 744 horas de unidades que se aplica a los clusters de IA dedicados que alojan modelos preentrenados disponibles en OCI Generative AI. En cambio, un cluster de IA dedicado de modelo importado tiene una duración mínima facturable de una hora. Por ejemplo, un cluster que utiliza una unidad AI y se ejecuta durante 30 minutos se factura por una unidad AI-hora.
Después de la primera hora, los cargos se basan en el tiempo de ejecución real del cluster y se prorratean hasta el milisegundo. Por ejemplo, un cluster que se ejecuta durante una hora y un minuto se factura por esa duración, en lugar de por dos horas completas.
OCI envía registros de uso a Medición y facturación cada cinco minutos mientras se ejecuta el cluster. Si el cluster se suprime antes de que se alcance el mínimo de una hora, OCI sigue informando sobre el uso facturable hasta que se alcance el mínimo. Si el cluster se ejecuta durante más de una hora, OCI sigue enviando registros de uso cada cinco minutos hasta que se suprime el cluster.