Búsqueda semántica en OpenSearch

Si utiliza uno de los modelos previamente entrenados que se alojan en OCI Search con OpenSearch, no necesita configurar permisos, puede pasar al siguiente requisito previo, Configuración de cluster para búsqueda semántica. Consulte también Tutorial de búsqueda semántica.

De lo contrario, deberá crear una política para otorgar el acceso necesario.

Debe crear una política para otorgar el acceso necesario.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Para utilizar OCI Generative AI, su arrendamiento debe estar suscrito a la región del Medio Oeste de EE. UU. (Chicago) o a la región del Centro de Alemania (Fráncfort). No es necesario que cree el cluster en ninguna de esas regiones, solo asegúrese de que su arrendamiento esté suscrito a una de las regiones.

Utilice la operación settings (Configuración) de las API del cluster para configurar los valores de cluster recomendados para la búsqueda semántica. El siguiente ejemplo incluye la configuración recomendada:

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

Los grupos de modelos permiten gestionar el acceso a modelos específicos. El registro de un grupo de modelos es opcional, pero si no registra un grupo de modelos, ML Commons crea un nuevo grupo de modelos para usted, por lo que le recomendamos que registre el grupo de modelos.

Registre un grupo de modelos mediante la operación register en las API de grupo de modelos, como se muestra en el siguiente ejemplo:

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Anote el valor model_group_id devuelto en la respuesta:

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Una vez finalizada la operación de registro para el modelo, puede desplegar el modelo en el cluster mediante la operación desplegar de las API de modelo, transfiriendo model_id de la respuesta de la operación Get del paso anterior, como se muestra en el siguiente ejemplo:

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Anote el valor task_id devuelto en la respuesta, puede utilizar task_id para comprobar el estado de la operación.

Por ejemplo, de la siguiente respuesta:

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

Para comprobar el estado de la operación de registro, utilice task_id con la operación Get de las API de tareas, como se muestra en el siguiente ejemplo:

GET /_plugins/_ml/tasks/<task_ID>

Cuando se completa la operación de despliegue, el valor status de la respuesta a la operación Get es COMPLETED.

Mediante el ID de modelo del modelo desplegado, cree un pipeline de ingestión, como se muestra en el siguiente ejemplo:

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

El pipeline de ingestión define un procesador y las asignaciones de campos (en este caso "passage_text" → "passage_embedding" ) Esto significa que si utiliza este pipeline en un índice específico para ingerir datos, el pipeline busca automáticamente el campo "passage_text" y utiliza el modelo de pipeline para generar las incrustaciones correspondientes, "passage_embedding" y, a continuación, las asigna antes de la indexación.

Recuerde que "passage_text" → "passage_embedding" están definidos por el usuario y pueden ser lo que desee. Asegúrese de que es consistente con la nomenclatura al crear el índice en el que desea utilizar el pipeline. El procesador de pipeline debe poder asignar los campos como se describe.

Durante la creación del índice, puede especificar el pipeline que desea utilizar para ingerir documentos en el índice.

En el siguiente ejemplo de llamada de API se muestra cómo crear un índice mediante el pipeline test-nlp-pipeline creado en el paso anterior.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Al crear el índice, también debe especificar qué implementación de biblioteca del vecino más cercano (ANN) aproximado desea utilizar. OCI Search con OpenSearch soporta las bibliotecas NMSLIB, Faiss y Lucene. Para obtener más información, consulte Motores de búsqueda.

En el siguiente ejemplo se utiliza el motor Lucene:

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Después de crear correctamente un índice, ahora puede ingerir datos en el índice como se muestra en el siguiente ejemplo:

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Utilice un GET para verificar que los documentos se ingieren correctamente y que las incrustaciones se generan automáticamente durante la ingestión:

GET /test-index/_doc/3