Documentación de Oracle Cloud Infrastructure

Gestión de puntos finales privadas

Los puntos finales privados proporcionan un acceso privado seguro a los modelos de OCI Generative AI dentro de una red virtual en la nube (VCN). Puede crear puntos finales privados para modelos a demanda y para modelos preentrenados y personalizados alojados en clusters de IA dedicados.

Acerca de

Un punto final privado es una dirección IP privada de una VCN que proporciona acceso privado a un servicio de OCI. Para la IA generativa, los puntos finales privados te permiten acceder a grandes modelos de lenguaje desde una VCN. El servicio crea el punto final privado en una subred privada que seleccione y mantenga su disponibilidad. El acceso se controla mediante el enrutamiento, las listas de seguridad y los grupos de seguridad de red (NSG).

Obtenga información sobre Acerca de los puntos finales privados y reglas de seguridad.

Al crear un punto final privado en OCI Generative AI, recibe un nombre de dominio totalmente cualificado (FQDN) para él, independientemente de si selecciona Permitir uso en modo bajo demanda. Utilice el punto final privado para:

  • Conéctelo a un punto final en un cluster de IA dedicado para acceder al cluster (y sus modelos alojados) a través del punto final privado.
  • Acceda a los modelos bajo demanda si activa Permitir uso en modo bajo demanda.

Regiones

Los puntos finales privados son compatibles con todos los modelos que se muestran en la página Modelos de IA generativa por región en las regiones comerciales (OC1), gubernamentales (OC4) y soberanas (OC19) en las que los modelos están disponibles.

Acceso

Para acceder a un modelo a través de un punto final privado, ejecute un cliente desde una red que tenga conectividad privada a la subred del punto final y llame al modelo mediante el FQDN del punto final privado.

Las rutas de acceso comunes incluyen:

  • Misma VCN: desde cualquier subred de la VCN (sujeto a enrutamiento, grupo de seguridad de red (NSG) y listas de seguridad).
  • VCN de intercambio de tráfico: a través de la conectividad de gateway de intercambio de tráfico local (LPG) o gateway de enrutamiento dinámico (basado en DRG) (de hub a radios).
  • Redes locales/otras privadas: a través de la VPN de seguridad de protocolo de Internet (IPSec) o FastConnect a un DRG.
  • Administración: utilice OCI Bastion para acceder a un host privado en la VCN y, a continuación, llame al punto final desde allí.
Nota

Asegúrese de que el FQDN de punto final privado se resuelve en la IP privada.

Límites

Por defecto, un arrendamiento puede tener hasta 5 puntos finales privados. Para crear más, para obtener más solicitar un aumento del límite de servicio para private-endpoint-count en el servicio de IA generativa.