Cerca con cluster OpenSearch
OCI Search con OpenSearch consente di creare cluster OpenSearch per le soluzioni di ricerca.
Dopo aver creato il cluster OpenSearch, Search with OpenSearch gestisce la maggior parte della gestione e delle operazioni dei cluster di ricerca, incluse operazioni quali aggiornamenti di sicurezza, upgrade, ridimensionamento e backup pianificati.
È possibile eseguire i task del cluster OpenSearch riportati di seguito.
Elencare i cluster OpenSearch in un compartimento.
Creare un nuovo cluster OpenSearch.
Recupero di dettagli di cluster OpenSearch.
Rinominare un cluster OpenSearch.
Ridimensionare un cluster OpenSearch.
Aggiornamento della ricerca con il software cluster OpenSearch.
Eliminare un cluster OpenSearch dalla tenancy.
Per informazioni sullo scale up della configurazione del cluster, vedere Ridimensionamento di una ricerca con il cluster OpenSearch. Per informazioni su come ripristinare il cluster da un backup, vedere Cerca con OpenSearch Backup cluster automatici. Per eseguire l'upgrade del cluster esistente a una versione più recente di Open Search, vedere Aggiornamento della ricerca con il software cluster OpenSearch.
Criterio IAM
Per utilizzare Oracle Cloud Infrastructure, è necessario che un amministratore ti conceda l'accesso di sicurezza in un criterio . Questo accesso è necessario, indipendentemente dal fatto che si stia utilizzando la console o l'API REST con un SDK, un'interfaccia CLI o unaltro strumento. Se viene visualizzato un messaggio che segnala che non si dispone dell'autorizzazione o che non si dispone dell'autorizzazione, verificare con l'amministratore il tipo di accesso di cui si dispone e il compartimento di cui lavorare.
Per creare o gestire un cluster, è necessario configurare le autorizzazioni per concedere agli utenti l'accesso per creare e gestire le risorse di networking necessarie, oltre alle autorizzazioni degli utenti per creare e gestire la ricerca con le risorse OpenSearch. Le autorizzazioni di networking devono essere configurate per il compartimento che contiene le risorse di networking, pertanto se il cluster si trova in un compartimento diverso dalla VCN e dalla subnet, assicurarsi che le autorizzazioni di networking siano configurate per il compartimento contenente la VCN e la subnet.
Il seguente esempio di criterio include le autorizzazioni necessarie per un gruppo personalizzato SearchOpenSearchAdmins:
Allow group SearchOpenSearchAdmins to manage vnics in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage vcns in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage subnets in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to use network-security-groups in compartment <NETWORK_RESOURCES_COMPARTMENT>
Allow group SearchOpenSearchAdmins to manage opensearch-family in compartment <CLUSTER_RESOURCES_COMPARTMENT>Il gruppo
SearchOpenSearchAdmins in questo esempio fa riferimento a un gruppo personalizzato creato dall'utente. Per ulteriori informazioni, vedere Gestione dei gruppi.Le autorizzazioni per le risorse di networking incluse in questo esempio sono necessarie come specificato. È possibile configurare le autorizzazioni per la ricerca con risorse OpenSearch, specificate nell'ultima riga di questo esempio, con maggiore granularità.
Se non si conoscono i criteri, vedere Guida introduttiva ai criteri e Criteri comuni.
Configurazione del load balancer
Quando si crea un cluster OpenSearch, viene creato automaticamente anche un load balancer. Questo load balancer gestisce tutte le richieste inviate all'endpoint API OpenSearch. È possibile selezionare la dimensione della larghezza di banda del load balancer quando si crea il cluster OpenSearch per ottimizzare la gestione del traffico dei messaggi in entrata. È inoltre possibile modificare i cluster OpenSearch esistenti per modificare la larghezza di banda del load balancer.
La selezione della dimensione della larghezza di banda è facoltativa. Se non si specifica una dimensione della larghezza di banda per il load balancer, viene impostata una dimensione predefinita in base alla dimensione del cluster OpenSearch (numero di nodi master, dati, kibana e di ricerca).
Nodi apprendimento automatico
I nodi di Machine Learning (ML) sono ottimizzati per l'esecuzione di carichi di lavoro di Machine Learning tramite il plugin ML Commons e i relativi componenti AI in OpenSearch. Questi nodi gestiscono operazioni a uso intensivo di elaborazione come la registrazione dei modelli, la distribuzione, l'inferenza, l'incorporamento del testo, il rilevamento delle anomalie e l'analitica RCA.
Isolando l'attività ML dai dati primari e dai nodi cluster-manager, i nodi ML consentono al cluster di eseguire pipeline AI avanzate e carichi di lavoro di inferenza senza competere per l'I/O o la memoria nelle attività di indicizzazione/ricerca.
Ai nodi ML viene assegnato automaticamente il ruolo dedicato (node.roles: ["ml"] ) e dispone anche di un volume a blocchi collegato. Questo ruolo li designa come endpoint di computazione per i job ML Commons e le pipeline di inclusione che incorporano testo. Possono elaborare i modelli localmente o connettersi agli endpoint di inferenza remoti, come le distribuzioni dei modelli di Data Science OCI o i LLM esterni.
I nodi ML offrono i vantaggi riportati di seguito.
- Prestazioni: esegue l'offload delle attività di inferenza e formazione ML a uso intensivo di computazione dai nodi dati e cluster-manager, garantendo una latenza costantemente bassa per la ricerca e l'indicizzazione.
- Scalabilità: supporta sia la scalabilità orizzontale (aggiunta di altri nodi ML) che la scalabilità verticale (aumento di OCPU/memoria), consentendo l'allocazione elastica delle risorse per carichi di lavoro ML variabili.
- Efficienza dei costi: le forme OCI FLEX possono essere utilizzate per ottimizzare i costi per inferenza, pagando solo per il footprint di computazione richiesto.
- Facilità di gestione: il controller ML Commons instrada automaticamente i task di inferenza e formazione ai nodi ML idonei in base alla memoria disponibile e alla profondità della coda.
- Flessibilità di integrazione: si connette perfettamente con le pipeline di inclusione di incorporamento del testo, la ricerca vettoriale, il rilevamento delle anomalie e le funzionalità di intelligenza artificiale identiche introdotte in Open Search 3.x.
I nodi ML forniscono un livello di computazione scalabile e isolato per i carichi di lavoro AI/ML, migliorando il throughput del cluster, la stabilità e l'efficienza delle risorse.
Configurazione del nodo ML per il cluster
Puoi configurare i nodi ML durante la creazione del cluster o aggiornare un cluster esistente con essi. Puoi eseguire operazioni di ridimensionamento orizzontale e verticale su nodi ML simili a un nodo normale, inclusi sia lo scale-up che lo scale-down.
Tuttavia, lo scale down di un nodo ML a 0 non è consentito quando vengono rilevate attività ML nel cluster. Una richiesta di ridimensionamento del nodo ML su 0 non riesce a meno che queste attività correlate al ML non vengano arrestate, ad esempio l'annullamento della distribuzione di un modello ML. Le attività di ML qualificate includono:
- Modelli ML distribuiti
- Agenti AI registrati
- Modelli remoti registrati e distribuiti
- Agente radice assistente AI
- Strumenti MCP
In assenza di un nodo ML, le attività ML vengono eseguite su nodi di dati regolari che assumono automaticamente il ruolo di nodo ML, come avviene nei cluster senza nodi ML dedicati.
Impostazioni cluster
Quando si crea un cluster con nodo ML dedicato o si aggiungono nodi ML dedicati a un cluster esistente, il parametro "only_run_on_ml_node": "true" è impostato per impostazione predefinita su True. Questo parametro viene reimpostato automaticamente su False dopo un corretto scale down dei nodi ML su 0 per consentire l'esecuzione perfetta di nuovi carichi di lavoro ML sul nodo dati.
È possibile modificare questi parametri di impostazione del cluster. Tuttavia, è necessario comprendere chiaramente in che modo queste impostazioni influiscono sul cluster. Se questo parametro è impostato su True in un cluster senza nodi ML dedicati, tutte le richieste ML non vengono elaborate. Analogamente, l'impostazione di questo flag su False in un cluster con nodo ML dedicato significa che sia i nodi ML che i nodi di dati elaborano il carico di lavoro ML e che non rispetta lo scopo previsto di isolare i carichi di lavoro ML sui nodi ML dedicati dai carichi di lavoro di inclusione ed query sui nodi di dati.
Parametri configurabili
È possibile utilizzare i parametri riportati di seguito per configurare i nodi ML nel cluster.
- Forma nodo (per le famiglie SHAPE o FLEX): la forma del nodo per i nodi ML del cluster.
- Conteggio nodi: il numero di nodi ML da aggiungere al cluster.
- Memoria nodo: la quantità di memoria per i nodi ML in gigabyte.
- Conteggio OCPU nodo: il numero di OCPU da configurare per i nodi ML del cluster.
- Storage nodi: la quantità di storage in gigabyte da configurare per ogni nodo per i nodi ML del cluster.
I nodi GPU non sono supportati per i nodi ML o dati.
Generazione di un hash password (solo CLI e Terraform)
Se si include il parametro security-master-user-password-hash da utilizzare con il parametro security-master-user-name, è necessario generare l'hash della password:
- Scaricare il file seguente:
- Aprire un prompt dei comandi ed eseguire il seguente comando:
java -jar oci-crypto-common.jar pbkdf2_stretch_1000 <password-in-plain-text>dove
<password-in-plain-text>è una password di tua scelta.Prima di eseguire questo comando, è necessario che Java sia installato sul computer.
- Registrare l'hash della password generato.
- Includere l'hash password generato come valore per il parametro
security-master-user-password-hash.Usare le virgolette singole intorno alla password. Ad esempio:
oci opensearch cluster create ... --security-master-user-name MyUser --security-master-user-password-hash 'pbkdf2_...MNUT5No='
Applicazione di tag alle risorse
È possibile applicare tag alle risorse per organizzarle in base alle proprie esigenze aziendali. È possibile applicare le tag al momento della creazione di una risorsa oppure aggiornare la risorsa in un secondo momento con le tag desiderate. Per informazioni generali sull'applicazione di tag, vedere Panoramica sull'applicazione di tag.