Gestión de puntos finales privadas

Los puntos finales privados permiten un acceso seguro y privado a los modelos de IA generativa de OCI dentro de su red virtual en la nube (VCN). Puede crear puntos finales privados para modelos preentrenados y personalizados alojados en clusters de IA dedicados o para modelos a demanda.

Acerca de

Un punto final privado es una dirección IP privada dentro de una VCN que puede utilizar para acceder a un servicio específico en OCI. El servicio configura el punto final privado en una subred de VCN de su elección. Piense en el punto final privado como otra VNIC de la VCN. Puede controlar el acceso a él de forma similar a cualquier otra VNIC, mediante reglas de seguridad. El servicio crea esta VNIC y mantiene su disponibilidad. Solo necesita gestionar la subred y sus reglas de seguridad. Obtenga más información sobre Acerca de los puntos finales privados.

Cuando crea un punto final privado, recibe un nombre de dominio totalmente cualificado (FQDN) para él, independientemente de si selecciona la opción Permitir uso en modo bajo demanda. Puede utilizar el punto final privado de las siguientes formas:

  • Conéctelo a un punto final en un cluster de IA dedicado para que el cluster (y sus modelos alojados) sean accesibles a través del punto final privado.
  • Si selecciona Permitir uso en modo bajo demanda durante la creación o edición, también puede utilizar el punto final privado para acceder a los modelos bajo demanda que se ofrecen en el servicio de IA generativa.

Acceso

Para acceder a un modelo a través de un punto final privado, puede crear una instancia informática en la subred privada asignada para el punto final privado, agregar el código a la instancia informática, utilizar el FQDN para el punto final privado y acceder a los modelos desde esa instancia informática.

Límites

Por defecto, un arrendamiento tiene un límite máximo de 5 puntos finales privados. Para más puntos finales privados de IA generativa, solicita un aumento en el límite, private-endpoint-count para el servicio de IA generativa.