Rechercher avec des grappes OpenSearch
La fonction de recherche OCI avec OpenSearch vous permet de créer des grappes OpenSearch pour vos solutions de recherche.
Après avoir créé votre grappe OpenSearch, Search with OpenSearch gère la plupart des opérations et de la gestion des grappes de recherche, y compris les opérations telles que les mises à jour de sécurité, les mises à niveau, le redimensionnement et les sauvegardes programmées.
Vous pouvez effectuer les tâches de grappe OpenSearch suivantes :
Lister les grappes OpenSearch d'un compartiment.
Créez une nouvelle grappe OpenSearch.
Obtenir les détails d'une grappe OpenSearch.
Renommer une grappe OpenSearch.
Redimensionner une grappe OpenSearch.
Mise à niveau de la recherche avec le logiciel de grappe OpenSearch.
Supprimez une grappe OpenSearch de votre location.
Pour plus d'informations sur l'augmentation de la configuration de votre grappe, voir Redimensionnement d'une recherche avec une grappe OpenSearch. Pour savoir comment restaurer une grappe à partir d'une sauvegarde, voir Rechercher avec OpenSearch Sauvegardes de grappe automatisées. Pour mettre à niveau votre grappe existante vers une version plus récente d'Open Search, voir Mise à niveau de la recherche avec le logiciel de grappe OpenSearch.
Politique du service IAM
Pour utiliser Oracle Cloud Infrastructure, un accès de sécurité doit vous être accordé au moyen d'une politique par un administrateur. Cet accès est requis que vous utilisiez la console ou l'API REST avec une trousse SDK, l'interface de ligne de commande ou un autre outil. Si vous obtenez un message indiquant que vous ne disposez pas de l'autorisation requise, vérifiez auprès de l'administrateur votre type d'accès et le compartiment à utiliser.
Pour créer ou gérer une grappe, vous devez configurer des autorisations pour accorder l'accès permettant aux utilisateurs de créer et de gérer les ressources de réseau requises, en plus des autorisations d'utilisateur pour créer et gérer la recherche avec les ressources OpenSearch. Les autorisations de réseau doivent être configurées pour le compartiment qui contient les ressources de réseau. Par conséquent, si la grappe se trouve dans un compartiment différent du VCN et du sous-réseau, assurez-vous que les autorisations de réseau sont configurées pour le compartiment contenant le VCN et le sous-réseau.
L'exemple de politique suivant inclut les autorisations requises pour un groupe personnalisé SearchOpenSearchAdmins :
Allow group SearchOpenSearchAdmins to manage vnics in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage vcns in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage subnets in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to use network-security-groups in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage opensearch-family in compartment <CLUSTER_RESOURCES_COMPARTMENT>Dans cet exemple, le groupe
SearchOpenSearchAdmins fait référence à un groupe personnalisé que vous créez. Pour plus d'informations, voir Gestion des groupes.Les autorisations pour les ressources de réseau incluses dans cet exemple sont requises telles que spécifiées. Vous pouvez configurer les autorisations pour la recherche avec les ressources OpenSearch, spécifiées à la dernière ligne de cet exemple, avec plus de granularité.
Pour en connaître davantage sur les politiques, voir Introduction aux politiques et Politiques communes.
Configuration de l'équilibreur de charge
Lorsque vous créez une grappe OpenSearch, un équilibreur de charge est également créé automatiquement. Cet équilibreur de charge gère toutes les demandes envoyées au point d'extrémité de l'API OpenSearch. Vous pouvez sélectionner la taille de bande passante de l'équilibreur de charge lorsque vous créez la grappe OpenSearch pour optimiser le traitement du trafic de messages entrants. Vous pouvez également modifier les grappes OpenSearch existantes pour modifier la bande passante de leur équilibreur de charge.
La sélection de la taille de la bande passante est facultative. Si vous n'indiquez pas de taille de bande passante pour l'équilibreur de charge, une taille par défaut est définie en fonction de la taille de la grappe OpenSearch (nombre de noeuds principaux, de données, de kibana et de recherche).
Noeuds d'apprentissage automatique
Les noeuds d'apprentissage automatique sont optimisés pour exécuter des charges de travail d'apprentissage automatique au moyen du plugiciel ML Commons et des composants d'intelligence artificielle connexes dans OpenSearch. Ces noeuds gèrent des opérations gourmandes en calcul telles que l'enregistrement de modèle, le déploiement, l'inférence, l'intégration de texte, la détection d'anomalies et l'analyse RCA.
En isolant l'activité d'apprentissage automatique des données principales et des noeuds de gestion de grappe, les noeuds d'apprentissage automatique permettent à la grappe d'exécuter des pipelines d'IA avancés et des charges de travail d'inférence sans rivaliser avec les E/S ou la mémoire pour les tâches d'indexation/de recherche.
Le rôle dédié ( node.roles: ["ml"] ) est automatiquement affecté aux noeuds d'apprentissage automatique et un volume par blocs est également attaché. Ce rôle les désigne comme points d'extrémité de calcul pour les tâches ML Commons et les pipelines d'ingestion avec intégration de texte. Ils peuvent traiter des modèles localement ou se connecter à des points d'extrémité d'inférence distants, tels que les déploiements de modèle du service de science des données pour OCI ou les LLM externes.
Les noeuds d'apprentissage automatique offrent les avantages suivants :
- Performance : Décharge les tâches d'inférence et d'entraînement liées à l'apprentissage automatique nécessitant de nombreuses ressources de calcul à partir des données et des noeuds de gestionnaire de grappe. Cela garantit une latence faible pour la recherche et l'indexation.
- Extensibilité : Prend en charge l'ajustement horizontal (ajout de noeuds d'apprentissage automatique supplémentaires) et l'ajustement vertical (augmentation du nombre d'OCPU/mémoire), ce qui permet l'affectation élastique des ressources pour les charges de travail d'apprentissage automatique variables.
- Efficacité du coût : Les formes FLEX d'OCI peuvent être utilisées pour optimiser le coût par inférence, en ne payant que pour l'environnement de calcul requis.
- Facilité de gestion : Le contrôleur ML Commons achemine automatiquement les tâches d'inférence et d'entraînement vers les noeuds ML admissibles en fonction de la mémoire disponible et de la profondeur de la file d'attente.
- Flexibilité d'intégration : Se connecte de façon transparente aux pipelines d'ingestion avec intégration de texte, à la recherche vectorielle, à la détection d'anomalies et aux fonctions d'intelligence artificielle agéntique introduites dans Open Search 3.x.
Les nœuds d'apprentissage automatique fournissent une couche de calcul isolée et évolutive pour les charges de travail d'intelligence artificielle et d'apprentissage automatique, ce qui améliore le débit, la stabilité et l'efficacité des ressources de la grappe.
Configuration du noeud d'apprentissage automatique pour votre grappe
Vous pouvez configurer des noeuds d'apprentissage automatique lors de la création d'une grappe ou mettre à jour une grappe existante avec eux. Vous pouvez effectuer des opérations de redimensionnement horizontal et vertical sur des noeuds d'apprentissage automatique similaires à un noeud normal, y compris l'augmentation et la réduction.
Toutefois, la réduction à 0 d'un noeud d'apprentissage automatique n'est pas autorisée lorsque des activités d'apprentissage automatique sont détectées dans la grappe. Une demande de réduction de l'échelle du noeud d'apprentissage automatique à 0 échoue sauf si ces activités liées à l'apprentissage automatique sont arrêtées, par exemple l'annulation du déploiement d'un modèle d'apprentissage automatique. Les activités d'apprentissage automatique qualifié comprennent :
- Modèles d'apprentissage automatique déployés
- Agents d'IA enregistrés
- Modèles distants enregistrés et déployés
- Agent racine de l'assistant d'intelligence artificielle
- Outils MCP
En l'absence de nœud d'apprentissage automatique, les activités d'apprentissage automatique s'exécutent sur des nœuds de données réguliers qui assument automatiquement le rôle de nœud ML, comme c'est le cas dans les grappes sans nœuds d'apprentissage automatique dédiés.
Paramètres de la grappe
Lors de la création d'une grappe avec un noeud d'apprentissage automatique dédié ou de l'ajout de noeuds d'apprentissage automatique dédiés à une grappe existante, le paramètre "only_run_on_ml_node": "true" est réglé par défaut à True. Ce paramètre est automatiquement réinitialisé à False après une réduction réussie des noeuds d'apprentissage automatique à 0 pour permettre aux nouvelles charges de travail d'apprentissage automatique de s'exécuter de façon transparente sur un noeud de données.
Vous pouvez modifier ces paramètres de paramètre de grappe. Toutefois, vous devez comprendre clairement comment ces paramètres affectent le cluster. Si ce paramètre est réglé à True dans une grappe sans noeuds d'apprentissage automatique dédiés, le traitement de toutes les demandes d'apprentissage automatique échoue. De même, le réglage de cet indicateur à False sur une grappe avec un noeud d'apprentissage automatique dédié signifie que les noeuds d'apprentissage automatique et de données traitent la charge de travail d'apprentissage automatique et que l'objectif visé est d'isoler les charges de travail d'apprentissage automatique sur les noeuds d'apprentissage automatique dédiés de l'ingestion et d'interroger les charges de travail sur les noeuds de données.
Paramètres configurables
Vous pouvez utiliser les paramètres suivants pour configurer les noeuds d'apprentissage automatique dans votre grappe :
- Forme de noeud (pour les familles SHAPE ou FLEX) : Forme de noeud pour les noeuds d'apprentissage automatique de la grappe.
- Nombre de noeuds : Nombre de noeuds d'apprentissage automatique à ajouter à la grappe.
- Mémoire du noeud : Quantité de mémoire pour les noeuds d'apprentissage automatique en gigaoctets.
- Nombre d'OCPU de noeud : Nombre d'OCPU à configurer pour les noeuds d'apprentissage automatique de la grappe.
- Stockage de noeud : Quantité de stockage en gigaoctets à configurer par noeud pour les noeuds d'apprentissage automatique de la grappe.
Les noeuds GPU ne sont pas pris en charge pour les noeuds d'apprentissage automatique ou de données.
Génération d'un hachage de mot de passe (interface de ligne de commande et Terraform uniquement)
Si vous incluez le paramètre security-master-user-password-hash à utiliser avec le paramètre security-master-user-name, vous devez générer le hachage de mot de passe :
- Téléchargez le fichier suivant :
- Ouvrez une invite de commande et exécutez la commande suivante :
java -jar oci-crypto-common.jar pbkdf2_stretch_1000 <password-in-plain-text>où
<password-in-plain-text>est un mot de passe de votre choix.Vous devez avoir Java installé sur votre ordinateur avant d'exécuter cette commande.
- Enregistrez le hachage du mot de passe généré.
- Incluez le hachage de mot de passe généré comme valeur pour le paramètre
security-master-user-password-hash.Utilisez des guillemets simples autour du mot de passe. Exemple :
oci opensearch cluster create ... --security-master-user-name MyUser --security-master-user-password-hash 'pbkdf2_...MNUT5No='
Marquage de ressources
Vous pouvez appliquer des marqueurs à vos ressources afin de les organiser en fonction des besoins de l'entreprise. Vous pouvez appliquer des marqueurs au moment de la création d'une ressource, ou vous pouvez mettre à jour la ressource plus tard avec les marqueurs souhaités. Pour des informations générales sur l'application de marqueurs, voir Aperçu du service de marquage.