Documentación de Oracle Cloud Infrastructure

Adición de un modelo a un punto final privado

Descubra cómo asociar un punto final de modelo para un modelo previamente entrenado, personalizado o importado a un punto final privado en OCI Generative AI.

Puede asociar uno o más puntos finales de modelo a un punto final privado. Un punto final privado proporciona la ruta de red privada, mientras que cada punto final de modelo proporciona acceso a un modelo en un cluster de IA dedicado de alojamiento. Cada punto final de modelo cuenta con la capacidad de punto final restante de su cluster de alojamiento.

  • Crear Punto Final

    1. En la página de lista Puntos finales privados, seleccione el punto final privado con el que desea trabajar. Si necesita ayuda para buscar la página de lista de puntos finales privados, consulte Listado de puntos finales privados.
    2. Seleccione Puntos finales y, a continuación, seleccione Crear punto final.

    Información de punto final

    1. Seleccione un compartimento en el que crear el punto final. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
      Consejo

      Se recomienda crear el punto final en el mismo compartimento que el modelo.
    2. (Opcional) Introduzca un nombre para el punto final. Inicie el nombre con una letra o guion bajo, seguido de letras, números, guiones o guiones bajos. La longitud puede abarcar de 1 a 255 caracteres. Si no se introduce un nombre, el sistema generará un nombre que podrá cambiar posteriormente.
      El nombre generado tiene el formato generativeaiendpoint<timestamp>. Ejemplo: generativeaiendpoint20250531235319
    3. (Opcional) Introduzca una descripción para el modelo.

    Configuración de alojamiento

    1. Seleccione el compartimento al que aloja el modelo al que desea agregar un punto final.
    2. Seleccione el modelo al que desea agregar un punto final. Este modelo puede ser un modelo personalizado, importado o un modelo básico entrenado previamente listo para usar disponible en la región en la que está trabajando.
    3. Si el modelo que ha seleccionado tiene varias versiones, seleccione una versión de modelo.
      Para los modelos fundamentales preentrenados listos para usar, este campo se rellena cuando se selecciona el modelo.
    4. Seleccione un cluster de AI dedicado de alojamiento mediante una de las siguientes acciones:
      • Seleccione un cluster de IA dedicado de la lista. Si creó un cluster hace unos minutos, espere a que ese cluster se active. Asegúrese de que el cluster se ha creado para el modelo previamente entrenado o importado seleccionado o para el modelo base utilizado para crear el modelo personalizado seleccionado.
      • Seleccione Crear nuevo cluster de AI dedicado y realice los siguientes pasos:
        1. (Opcional) Introduzca un nombre y la descripción.
        2. En Modelo base, seleccione el modelo previamente entrenado que está alojando, el modelo base que se utiliza para crear el modelo personalizado seleccionado o el modelo importado seleccionado.
        3. Si ha seleccionado un modelo importado, seleccione un tamaño de unidad recomendado. Consulte Unidades de unidad de hardware para modelos importados.
        4. Utilice al menos una réplica de modelo para el cluster de alojamiento. Las réplicas del cluster sirven sus puntos finales de modelo activos. Agregue réplicas para aumentar el rendimiento de inferencia para los puntos finales; la creación de puntos finales adicionales por sí sola no aumenta el rendimiento.
        5. Revise la información de facturación y compromiso del cluster de AI dedicado de alojamiento y, si se le solicita, seleccione la casilla de control para aceptar el compromiso. Los clusters de alojamiento para modelos importados no requieren el compromiso mínimo de 744 horas de unidades que se aplica a los modelos personalizados y preentrenados de OCI Generative AI.
        6. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster de AI dedicado. Consulte Etiquetas de recursos.
        7. Seleccione Crear y espere a que el cluster se active.
        8. En la lista Cluster de AI dedicado, seleccione el cluster de AI dedicado que ha creado.

    Recursos de red

    El punto final privado está preseleccionado.

    Barandillas (para modelos preentrenados y personalizados)

    Las barandillas no están disponibles para los modelos importados.

    1. Seleccione si desea activar la siguiente guía.
      • Moderación de contenido
        • Desactivado: no aplique la moderación del contenido ni el contenido explícito de salida.
        • Bloquear: ayuda a identificar y aplicar la moderación de contenido.
        • Informar: no aplique la moderación de contenido, pero tenga como objetivo informar al usuario si el modelo detecta contenido que necesita moderación.
    2. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este punto final. Consulte Etiquetas de recursos.
    3. Seleccione Crear.
      Se le dirige a la página de detalles del punto final, donde puede realizar un seguimiento del estado del punto final. El nuevo punto final de modelo cuenta con respecto a la capacidad de punto final restante del cluster de alojamiento.

  • Utilice el comando endpoint create y los parámetros necesarios para crear un punto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Offered Pretrained Foundational Models in Generative AI.

  • Ejecute la operación CreateEndpoint para crear un punto final.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Offered Pretrained Foundational Models in Generative AI.