Accès au point d'extrémité privé pour la sélection des modèles d'intelligence artificielle

Vous pouvez activer un accès privé et sécurisé aux modèles d'IA générative en déployant Ollama ou Llama.cpp derrière un point d'extrémité privé dans votre réseau en nuage virtuel (VCN). Cette architecture est conçue pour les entreprises qui doivent garder le traitement de l'IA entièrement privé. La configuration isole les serveurs Autonomous AI Database Serverless et les serveurs de modèle d'IA de l'Internet public à l'aide de sous-réseaux privés, de listes de sécurité et d'un routage contrôlé.

La configuration utilise un serveur de saut dans un sous-réseau public pour un accès SSH sécurisé, tandis que les modèles de base de données et d'intelligence artificielle s'exécutent dans des sous-réseaux privés connectés au moyen de la passerelle Internet, de la passerelle de service et de la passerelle NAT.

Vous créez un VCN, configurez des sous-réseaux et des passerelles et configurez des règles de sécurité qui autorisent uniquement le trafic interne. Pour plus d'informations, voir Configuration d'un point d'extrémité privé pour les modèles d'IA à l'aide d'Ollama et Llama.cpp. Le document vous guide tout au long de l'installation d'Ollama et de Llama.cpp, de la configuration d'un point d'extrémité d'API privé à l'aide de Nginx en tant que mandataire inverse et de la validation de la connectivité à partir de la base de données Autonomous AI Database. Cette configuration garantit que tout le traitement de l'IA a lieu en privé dans les limites de votre réseau, ce qui permet à Select AI d'intégrer des capacités de modèle tout en assurant la sécurité et l'isolement total des données sensibles.