Buscar con clusters OpenSearch
OCI Search con OpenSearch le permite crear clusters OpenSearch para sus soluciones de búsqueda.
Después de crear el cluster OpenSearch, Search con OpenSearch gestiona la mayoría de la gestión y las operaciones de los clusters de búsqueda, incluidas operaciones como actualizaciones de seguridad, actualizaciones, cambio de tamaño y copias de seguridad programadas.
Puede realizar las siguientes tareas de cluster OpenSearch:
Muestre los clusters OpenSearch en un compartimento.
Cree un nuevo cluster OpenSearch.
Obtenga los detalles de una agrupación OpenSearch.
Cambie el nombre de un cluster OpenSearch.
Cambio de tamaño de un cluster OpenSearch.
Actualización de Search con el software de cluster OpenSearch.
Suprimir un cluster OpenSearch de su arrendamiento.
Para obtener información sobre la ampliación de la configuración del cluster, consulte Cambio de tamaño de una búsqueda con el cluster OpenSearch. Para obtener más información sobre cómo restaurar el cluster a partir de una copia de seguridad, consulte Búsqueda con copias de seguridad de cluster automatizadas OpenSearch. Para actualizar el cluster existente a una versión más reciente de Open Search, consulte Actualización de Search con OpenSearch Cluster Software.
Politica de IAM
Para utilizar Oracle Cloud Infrastructure, un administrador le debe otorgar acceso de seguridad en una política . Este acceso es necesario tanto si utiliza la Consola como la API de REST con un SDK, una CLI u otra herramienta. Si recibe un mensaje que le indica que no tiene permiso o no está autorizado, verifique con su administrador el tipo de acceso que tiene y en qué compartimento debe trabajar.
Para crear o gestionar un cluster, debe configurar permisos para otorgar acceso a los usuarios a fin de crear y gestionar los recursos de red necesarios, además de los permisos de los usuarios para crear y gestionar la búsqueda con recursos OpenSearch. Los permisos de red se deben configurar para el compartimento que contiene los recursos de red, de modo que si el cluster está en un compartimento diferente de la VCN y la subred, asegúrese de que los permisos de red están configurados para el compartimento que contiene la VCN y la subred.
En el siguiente ejemplo de política se incluyen los permisos necesarios para un grupo personalizado SearchOpenSearchAdmins:
Allow group SearchOpenSearchAdmins to manage vnics in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage vcns in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage subnets in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to use network-security-groups in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage opensearch-family in compartment <CLUSTER_RESOURCES_COMPARTMENT>El grupo
SearchOpenSearchAdmins de este ejemplo hace referencia a un grupo personalizado que cree. Consulte Gestión de grupos para obtener más información.Los permisos para los recursos de red incluidos en este ejemplo son necesarios según lo especificado. Puede configurar los permisos para la búsqueda con los recursos OpenSearch, especificados en la última línea de este ejemplo, con más granularidad.
Si no está familiarizado con las políticas, consulte Introducción a las políticas y Políticas comunes.
Configuración del equilibrador de carga
Al crear un cluster OpenSearch, también se crea automáticamente un equilibrador de carga. Este equilibrador de carga gestiona todas las solicitudes enviadas al punto final de API OpenSearch. Puede seleccionar el tamaño de ancho de banda del equilibrador de carga al crear el cluster OpenSearch para optimizar el manejo del tráfico de mensajes entrante. También puede editar clusters OpenSearch existentes para cambiar el ancho de banda del equilibrador de carga.
La selección del tamaño del ancho de banda es opcional. Si no especifica un tamaño de ancho de banda para el equilibrador de carga, se define un tamaño por defecto en función del tamaño del cluster OpenSearch (número de nodos maestros, de datos, de kibana y de búsqueda).
Nodos de Machine Learning
Los nodos de aprendizaje automático (ML) están optimizados para ejecutar cargas de trabajo de aprendizaje automático a través del plugin ML Commons y los componentes de IA relacionados en OpenSearch. Estos nodos gestionan operaciones que hacen un uso intensivo de los recursos informáticos, como el registro de modelos, el despliegue, la inferencia, la incorporación de texto, la detección de anomalías y los análisis de RCA.
Al aislar la actividad de aprendizaje automático de los datos principales y los nodos del gestor de clusters, los nodos de aprendizaje automático permiten al cluster ejecutar pipelines de IA avanzados y cargas de trabajo de inferencia sin competir por la E/S o la memoria en las tareas de indexación/búsqueda.
A los nodos de AA se les asigna automáticamente el rol dedicado (node.roles: ["ml"] ) y también tienen un volumen en bloque asociado. Este rol los designa como puntos finales de recursos informáticos para trabajos de ML Commons y pipelines de ingestión que incluyen texto. Pueden procesar modelos localmente o conectarse a puntos finales de inferencia remotos, como despliegues de modelos de OCI Data Science o LLM externos).
Los nodos de AA proporcionan las siguientes ventajas:
- Rendimiento: descarga las tareas de inferencia y entrenamiento de aprendizaje automático que hacen un uso intensivo de los recursos informáticos de los datos y los nodos del gestor de clusters, lo que garantiza una latencia consistentemente baja para la búsqueda y la indexación.
- Escalabilidad: admite tanto la escalabilidad horizontal (agregación de más nodos de aprendizaje automático) como la escalabilidad vertical (aumento de OCPU/memoria), lo que permite la asignación flexible de recursos para distintas cargas de trabajo de aprendizaje automático.
- Eficiencia de costos: las unidades OCI FLEX se pueden utilizar para optimizar el costo por inferencia, pagando solo por la huella informática necesaria.
- Facilidad de gestión: el controlador de ML Commons enruta automáticamente las tareas de inferencia y entrenamiento a los nodos de ML elegibles en función de la memoria disponible y la profundidad de cola.
- Flexibilidad de integración: se conecta sin problemas con pipelines de ingesta de texto incrustados, búsqueda vectorial, detección de anomalías y funciones de IA ágiles introducidas en Open Search 3.x.
Los nodos de aprendizaje automático proporcionan una capa de cálculo aislada y escalable para cargas de trabajo de IA/AA, lo que mejora el rendimiento del cluster, la estabilidad y la eficiencia de los recursos.
Configuración del nodo de AA para el cluster
Puede configurar nodos de aprendizaje automático durante la creación del cluster o actualizar un cluster existente con ellos. Puede realizar operaciones de cambio de tamaño horizontales y verticales en nodos de aprendizaje automático similares a los de un nodo normal, incluidas la ampliación y la reducción vertical.
Sin embargo, no se permite la reducción vertical de un nodo de aprendizaje automático a 0 cuando se detectan actividades de aprendizaje automático en el cluster. Una solicitud para reducir el nivel del nodo de AA a 0 falla a menos que estas actividades relacionadas con el AA se detengan, como la anulación del despliegue de un modelo de AA. Las actividades de aprendizaje automático cualificado incluyen:
- Modelos de AA desplegados
- Agentes de IA registrados
- Modelos remotos registrados e implementados
- Agente raíz asistente de IA
- Herramientas de MCP
En ausencia de nodo de aprendizaje automático, las actividades de aprendizaje automático se ejecutan en nodos de datos regulares que asumen automáticamente el rol de nodo de aprendizaje automático, como es el caso en clusters sin nodos de aprendizaje automático dedicados.
Configuración de cluster
Al crear un cluster con un nodo de AA dedicado o agregar nodos de AA dedicados a un cluster existente, el parámetro "only_run_on_ml_node": "true" se define por defecto en True. Este parámetro se restablece automáticamente a False después de una reducción vertical correcta de los nodos de aprendizaje automático a 0 para permitir que las nuevas cargas de trabajo de aprendizaje automático se ejecuten sin problemas en el nodo de datos.
Puede cambiar estos parámetros de configuración de cluster. Sin embargo, debe comprender claramente cómo afectan estos valores al cluster. Si este parámetro se define en True en un cluster sin nodos de AA dedicados, no se podrán procesar todas las solicitudes de AA. Del mismo modo, definir este indicador en False en un cluster con nodo de AA dedicado significa que tanto los nodos de AA como los de datos procesan la carga de trabajo de AA y eso supera el objetivo previsto de aislar las cargas de trabajo de AA en nodos de AA dedicados de las cargas de trabajo de ingestión y consulta en los nodos de datos.
Parámetros Configurables
Puede utilizar los siguientes parámetros para configurar nodos de AA en el cluster:
- Unidad de nodo (para familias SHAPE o FLEX): unidad de nodo para los nodos de aprendizaje automático del cluster.
- Recuento de nodos: número de nodos de aprendizaje automático que se van a agregar al cluster.
- Memoria de nodo: cantidad de memoria para los nodos de AA en gigabytes.
- Recuento de OCPU de nodo: número de OCPU que se van a configurar para los nodos de AA del cluster.
- Almacenamiento de nodos: cantidad de almacenamiento en gigabytes que se debe configurar por nodo para los nodos de aprendizaje automático del cluster.
Los nodos de GPU no están soportados para los nodos de aprendizaje automático o de datos.
Generación de un hash de contraseña (solo CLI y Terraform)
Si incluye el parámetro security-master-user-password-hash que se va a utilizar con el parámetro security-master-user-name, debe generar el hash de contraseña:
- Descargue el siguiente archivo:
- Abra un símbolo del sistema y ejecute el siguiente comando:
java -jar oci-crypto-common.jar pbkdf2_stretch_1000 <password-in-plain-text>donde
<password-in-plain-text>es una contraseña de su elección.Debe tener Java instalado en el equipo antes de ejecutar este comando.
- Registre el hash de contraseña generado.
- Incluya el hash de contraseña generado como valor para el parámetro
security-master-user-password-hash.Utilice comillas simples alrededor de la contraseña. Por ejemplo:
oci opensearch cluster create ... --security-master-user-name MyUser --security-master-user-password-hash 'pbkdf2_...MNUT5No='
Etiquetado de recursos
Puede aplicar etiquetas a los recursos para ayudarle a organizarlos según las necesidades de su negocio. Puede aplicar las etiquetas al crear un recurso o actualizar el recurso más tarde con las etiquetas que desee. Para obtener información general sobre la aplicación de etiquetas, consulte Visión general del etiquetado.