Documentación de Oracle Cloud Infrastructure

Creación de un Punto Final

Cree un punto final para un modelo personalizado, previamente entrenado o importado en un cluster de IA dedicado de alojamiento en OCI Generative AI.

Antes de crear un punto final, asegúrese de tener un cluster de AI dedicado de alojamiento activo que sea compatible con el modelo y de que el cluster tenga capacidad de punto final restante. Por defecto, un cluster de alojamiento puede tener hasta 50 puntos finales de modelo. Consulte Capacidad de punto final.

Nota

Para agregar un modelo a un punto final privado, primero cree un punto final privado y, a continuación, vuelva a esta página para ver los pasos necesarios para asociar el modelo.

Los puntos finales privados son compatibles con los modelos preentrenados, personalizados e importados.

  • En la página de lista Puntos finales, seleccione Crear punto final. Si necesita ayuda para encontrar la página de lista, consulte List Endpoints.

    Información de punto final

    1. Seleccione un compartimento en el que crear el punto final. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
      Consejo

      Se recomienda crear el punto final en el mismo compartimento que el modelo.
    2. (Opcional) Introduzca un nombre para el punto final. Inicie el nombre con una letra o guion bajo, seguido de letras, números, guiones o guiones bajos. La longitud puede abarcar de 1 a 255 caracteres. Si no se introduce un nombre, el sistema generará un nombre que podrá cambiar posteriormente.
      El nombre generado tiene el formato generativeaiendpoint<timestamp>. Ejemplo: generativeaiendpoint20250531235319
    3. (Opcional) Introduzca una descripción para el modelo.

    Configuración de alojamiento

    1. Seleccione el compartimento al que aloja el modelo al que desea agregar un punto final.
    2. Seleccione el modelo al que desea agregar un punto final. Este modelo puede ser un modelo personalizado, importado o un modelo básico entrenado previamente listo para usar disponible en la región en la que está trabajando.
    3. Si el modelo que ha seleccionado tiene varias versiones, seleccione una versión de modelo.
      Para los modelos fundamentales preentrenados listos para usar, este campo se rellena cuando se selecciona el modelo.
    4. Seleccione el compartimento de cluster de IA dedicado que contiene el cluster de alojamiento que desea utilizar o donde desea crear uno.
    5. Seleccione un cluster de AI dedicado de alojamiento mediante una de las siguientes acciones:
      • Seleccione un cluster de IA dedicado de la lista. Si creó un cluster hace unos minutos, espere a que ese cluster se active. Para un modelo previamente entrenado, asegúrese de que el modelo seleccionado soporte la unidad de unidad completa del cluster. Para un modelo personalizado, asegúrese de que el cluster se ha creado para el modelo base del modelo. Para un modelo importado, asegúrese de que la unidad de unidad completa del cluster soporta el modelo seleccionado y de que ha suprimido los puntos finales de un modelo importado diferente en el cluster. Consulte Switching Models on Dedicated AI Clusters.
      • Seleccione Crear nuevo cluster de AI dedicado y realice los siguientes pasos:
        1. (Opcional) Introduzca un nombre y la descripción.
        2. Para Modelo base, seleccione una de las siguientes opciones:
          • El modelo básico preentrenado que está alojando.
          • Si utiliza un modelo personalizado, ajustado a partir de un modelo básico, seleccione el modelo de base original en el que se entrenó.
          • Si utiliza un modelo importado, seleccione ese modelo importado.
        3. Si ha seleccionado un modelo importado, seleccione un tamaño de unidad recomendado según esta guía.
        4. Utilice al menos una réplica de modelo para el cluster de alojamiento. Las réplicas de modelos proporcionan la capacidad informática para la inferencia y requieren unidades de IA dedicadas. La creación de puntos finales adicionales no aumenta el rendimiento del cluster.
        5. Revise la información de facturación y compromiso del cluster de AI dedicado de alojamiento y, si se le solicita, seleccione la casilla de control para aceptar el compromiso. Los clusters de alojamiento para modelos importados no requieren el compromiso mínimo de 744 horas de unidades que se aplica a los modelos personalizados y preentrenados de OCI Generative AI.
        6. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster de AI dedicado. Consulte Etiquetas de recursos.
        7. Seleccione Crear y espere a que el cluster se active.
        8. En la lista Cluster de AI dedicado, seleccione el cluster de AI dedicado que ha creado.

    Recursos de red

    Para Tipo de punto final, seleccione una de las siguientes opciones:
    • Punto final público
    • Punto final privado: seleccione el compartimento que contiene el punto final privado y, a continuación, seleccione el punto final privado que desee utilizar. Si aún no tiene un punto final privado, cree uno antes de continuar.

    Barandillas para modelos preentrenados y personalizados

    Nota

    Las guías no están disponibles para los modelos importados.
    Importante

    Exención de responsabilidad

    Nuestras barandillas de Moderación de Contenido (CM) e Inyección de Petición de Datos (PI) se han evaluado en una gama de conjuntos de datos de referencia multilingües. Sin embargo, el rendimiento real puede variar en función de los idiomas, los dominios, las distribuciones de datos y los patrones de uso específicos presentes en los datos proporcionados por el cliente a medida que AI genera el contenido y puede contener errores u omisiones. Por lo tanto, solo tiene fines informativos, no debe considerarse asesoramiento profesional y OCI no garantiza que se observen características de rendimiento idénticas en todos los despliegues del mundo real. El equipo de OCI Responsible AI está mejorando continuamente estos modelos.

    Nuestras capacidades de moderación de contenido se han evaluado en comparación con RTPLX, uno de los mayores conjuntos de datos de evaluación comparativa multilingüe disponibles públicamente y que abarca más de 38 idiomas. Sin embargo, estos resultados deben interpretarse con la precaución adecuada, ya que el contenido es generado por AI y puede contener errores u omisiones. Las evaluaciones multilingües están inherentemente delimitadas por el alcance, la representatividad y las prácticas de anotación de los conjuntos de datos públicos, y el rendimiento observado en RTPLX podría no generalizarse completamente a todos los contextos, dominios, dialectos o patrones de uso del mundo real. Por lo tanto, los resultados están destinados únicamente a fines informativos y no deben considerarse asesoramiento profesional.

    Seleccione una configuración para cada guía. Para obtener información básica, consulte Más información sobre las guías de protección y revise la renuncia en esta sección antes de utilizarlas.
    • Moderación de contenido
      • Desactivado: no se aplica ninguna moderación de contenido.
      • Bloquear: ayuda a detectar contenido que requiere moderación y tiene como objetivo bloquear la solicitud o respuesta en función de la configuración.
      • Informar: no bloquea el contenido, pero tiene como objetivo devolver una indicación cuando se detecta contenido que requiere moderación
    • Protección frente a la inyección de prompts (PI)
      • Desactivado: no se aplica protección de inyección de petición de datos.
      • Bloquear: ayuda a detectar intentos de inyección de petición de datos y tiene como objetivo bloquear la solicitud según la configuración.
      • Informar: no bloquea la solicitud, pero tiene como objetivo devolver una indicación cuando se detecta el riesgo de inyección de indicador.
    • Protección de información de identificación personal (PII)
      • Desactivado: no se aplica protección de PII.
      • Bloquear: ayuda a detectar información de identificación personal y tiene como objetivo bloquear la solicitud o la respuesta según la configuración.
      • Informar: no bloquea el contenido, sino que tiene como objetivo devolver una indicación cuando se detecta la PII.

    Creación y uso del punto final

    1. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este punto final. Consulte Etiquetas de recursos.
    2. Seleccione Crear.
      Se le dirige a la página de detalles del punto final, donde puede realizar un seguimiento del estado del punto final. El nuevo punto final cuenta con respecto a la capacidad de punto final restante del cluster de alojamiento.
    3. Después de que el punto final esté activo, seleccione Ver en el patio de recreo y empiece a utilizar el modelo desde este punto final.

  • Utilice el comando endpoint create y los parámetros necesarios para crear un punto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Offered Pretrained Foundational Models in Generative AI.

  • Ejecute la operación CreateEndpoint para crear un punto final.

    Nota

    Para los modelos entrenados previamente, en lugar de un OCID, puede utilizar el nombre del modelo exactamente como se muestra en el patio de juegos de la consola. También puede encontrar este nombre de modelo de OCI en la página de detalles del modelo en Offered Pretrained Foundational Models in Generative AI.