Ricerca semantica in OpenSearch

Se si utilizza uno dei modelli pre-addestrati ospitati in OCI Search con OpenSearch, non è necessario configurare le autorizzazioni, è possibile passare al prerequisito successivo, Impostazioni cluster per la ricerca semantica. Vedere anche Guida introduttiva a Semantic Search.

In caso contrario, è necessario creare un criterio per concedere l'accesso richiesto.

Per concedere l'accesso necessario, è necessario creare un criterio.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Per utilizzare OCI Generative AI, la tenancy deve essere sottoscritta all'area Midwest degli Stati Uniti (Chicago) o all'area centrale della Germania (Francoforte). Non è necessario creare il cluster in nessuna di queste aree, assicurarsi solo che la tenancy sia sottoscritta a una delle aree.

Utilizzare l'operazione settings delle API cluster per configurare le impostazioni cluster consigliate per la ricerca semantica. L'esempio seguente include le impostazioni consigliate:

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

I gruppi di modelli consentono di gestire l'accesso a modelli specifici. La registrazione di un gruppo di modelli è facoltativa. Tuttavia, se non si registra un gruppo di modelli, ML Commons crea un nuovo gruppo di modelli per l'utente, pertanto è consigliabile registrarlo.

Registrare un gruppo di modelli utilizzando l'operazione di registrazione nelle API del gruppo di modelli, come mostrato nell'esempio riportato di seguito.

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Prendere nota del model_group_id restituito nella risposta:

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Una volta completata l'operazione di registrazione per il modello, è possibile distribuire il modello nel cluster utilizzando l'operazione deploy delle API del modello, passando il valore model_id dalla risposta dell'operazione Get nel passo precedente, come mostrato nell'esempio seguente:

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Prendere nota del task_id restituito nella risposta, è possibile utilizzare il task_id per controllare lo stato dell'operazione.

Ad esempio, dalla risposta seguente:

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

per controllare lo stato dell'operazione di registrazione, utilizzare task_id con l'operazione Recupera delle API dei task, come mostrato nell'esempio riportato di seguito.

GET /_plugins/_ml/tasks/<task_ID>

Una volta completata l'operazione di distribuzione, il valore status nella risposta all'operazione Get è COMPLETED.

Utilizzando l'ID modello del modello distribuito, creare una pipeline di inclusione come mostrato nell'esempio riportato di seguito.

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

La pipeline di inclusione definisce un processore e i mapping dei campi (in questo caso "passage_text" → "passage_embedding" ) Ciò significa che se si utilizza questa pipeline su un indice specifico per includere i dati, la pipeline trova automaticamente il campo "passage_text" e utilizza il modello di pipeline per generare le integrazioni corrispondenti, "passage_embedding", quindi esegue il mapping prima dell'indicizzazione.

Ricordare "passage_text" → "passage_embedding" sono definiti dall'utente e possono essere tutto ciò che si desidera. Assicurarsi di essere coerenti con la denominazione durante la creazione dell'indice in cui si prevede di utilizzare la pipeline. Il processore pipeline deve essere in grado di mappare i campi come descritto.

Durante la creazione dell'indice, è possibile specificare la pipeline che si desidera utilizzare per includere i documenti nell'indice.

L'esempio di chiamata API riportato di seguito mostra come creare un indice utilizzando la pipeline test-nlp-pipeline creata nel passo precedente.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Quando si crea l'indice, è inoltre necessario specificare l'implementazione della libreria del vicino più vicino (ANN) che si desidera utilizzare. OCI Search with OpenSearch supporta le librerie NMSLIB, Faiss e Lucene. Per ulteriori informazioni, vedere Motori di ricerca.

L'esempio seguente utilizza il motore Lucene:

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Dopo aver creato un indice correttamente, è ora possibile includere i dati nell'indice come mostrato nell'esempio riportato di seguito.

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Utilizzare un GET per verificare che i documenti vengano inclusi correttamente e che le integrazioni vengano generate automaticamente durante l'inclusione:

GET /test-index/_doc/3