Documentación de Oracle Cloud Infrastructure

Adición de un modelo a un punto final privado

Descubre cómo asociar un punto final con un modelo personalizado o entrenado previamente a un punto final privado en OCI Generative AI.

Puede asociar uno o más puntos finales a un punto final privado.

  • Crear Punto Final

    1. En la página de lista Puntos finales privados, seleccione el punto final privado con el que desea trabajar. Si necesita ayuda para buscar la página de lista de puntos finales privados, consulte Listado de puntos finales privados.
    2. Seleccione Puntos finales y, a continuación, seleccione Crear punto final.

    Información de punto final

    1. Seleccione un compartimento en el que crear el punto final. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
      Consejo

      Se recomienda crear el punto final en el mismo compartimento que el modelo.
    2. (Opcional) Introduzca un nombre para el punto final. Inicie el nombre con una letra o guion bajo, seguido de letras, números, guiones o guiones bajos. La longitud puede abarcar de 1 a 255 caracteres. Si no se introduce un nombre, el sistema generará un nombre que podrá cambiar posteriormente.
      El nombre generado tiene el formato generativeaiendpoint<timestamp>. Ejemplo: generativeaiendpoint20250531235319
    3. (Opcional) Introduzca una descripción para el modelo.

    Configuración de alojamiento

    1. Seleccione el compartimento al que aloja el modelo al que desea agregar un punto final.
    2. Seleccione el modelo al que desea agregar un punto final. Este modelo puede ser un modelo personalizado o un modelo básico entrenado previamente listo para usar disponible en la región en la que está trabajando.
    3. Si el modelo que ha seleccionado tiene varias versiones, seleccione una versión de modelo.
      Para los modelos fundamentales preentrenados listos para usar, este campo se rellena cuando se selecciona el modelo.
    4. Seleccione un cluster de AI dedicado de alojamiento mediante una de las siguientes acciones:
      • Seleccione un cluster de IA dedicado de la lista. Si creó un cluster hace unos minutos, espere a que ese cluster se active. Asegúrese de que el modelo base asociado a este cluster coincide con el modelo base para el modelo al que desea agregar un punto final.
      • Seleccione Crear nuevo cluster de AI dedicado y realice los siguientes pasos:
        1. (Opcional) Introduzca un nombre y descripción.
        2. Seleccione un modelo base que coincida con el modelo base del modelo que desea alojar.
        3. Agregue 1 réplica de modelo al punto final. Al crear un cluster, necesita al menos una unidad para un punto final. Para un cluster existente, puede utilizar esa misma unidad para alojar nuevos puntos finales. Cada instancia aloja todos los puntos finales activos. Al aumentar el recuento de instancias en un cluster, aumenta el número de RPM soportados para todos los puntos finales activos alojados en un cluster.
        4. Lea las horas de unidad de compromiso para el cluster de AI dedicado de alojamiento y seleccione la casilla de control para aceptar el compromiso.
        5. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster de AI dedicado. Consulte Etiquetas de recursos.
        6. Seleccione Crear y espere a que el cluster se active.
        7. En la lista Cluster de AI dedicado, seleccione el cluster de AI dedicado que ha creado.

    Recursos de red

    El punto final privado está preseleccionado.

    Límite

    1. Seleccione si desea activar las siguientes guías.
      • Moderación de contenido
        • Desactivado: no aplique la moderación del contenido ni el contenido explícito de salida.
        • Bloquear: ayuda a identificar y aplicar la moderación de contenido.
        • Informar: no aplique la moderación de contenido, pero tenga como objetivo informar al usuario si el modelo detecta contenido que necesita moderación.
      • Protección frente a la inyección de prompts (PI)
        • Desactivado: no aplique protección de PI y permita la entrada sin restricciones.
        • Bloquear: ayuda a identificar y proteger contra la inyección de mensajes.
        • Informar: no aplique la protección de PI, pero tenga como objetivo informar al usuario si el modelo detecta contenido que necesita protección de PI.
      • Protección de información de identificación personal (PII)
        • Desactivado: no aplique protección de información de identificación personal, sino que genere contenido sin restricciones de exposición a datos.
        • Bloquear: ayuda a identificar y proteger la información de identificación personal, como la ayuda a eliminar datos personales de las respuestas.
        • Informar: no aplique la protección de información de identificación personal, pero tenga como objetivo informar al usuario si el modelo detecta contenido que necesita protección de información de identificación personal.
    2. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este punto final. Consulte Etiquetas de recursos.
    3. Seleccione Crear.
      Se le dirige a la página de detalles del punto final, donde puede realizar un seguimiento del estado del punto final.

  • Utilice el comando endpoint create y los parámetros necesarios para crear un punto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Modelos básicos previamente entrenados en IA generativa.

  • Ejecute la operación CreateEndpoint para crear un punto final.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Modelos básicos previamente entrenados en IA generativa.