Recherche sémantique dans OpenSearch

Si vous utilisez l'un des modèles préentraînés hébergés dans OCI Search avec OpenSearch, vous n'avez pas besoin de configurer les droits d'accès, vous pouvez passer au prérequis suivant, Paramètres de cluster pour la recherche sémantique. Voir aussi Présentation de la recherche sémantique.

Sinon, vous devez créer une stratégie pour accorder l'accès requis.

Vous devez créer une stratégie pour accorder l'accès requis.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Pour utiliser OCI Generative AI, votre location doit être abonnée à la région Midwest des Etats-Unis (Chicago) ou à la région Allemagne centrale (Francfort). Vous n'avez pas besoin de créer le cluster dans l'une ou l'autre de ces régions, assurez-vous simplement que votre location est abonnée à l'une des régions.

Utilisez l'opération paramètres des API de cluster pour configurer les paramètres de cluster recommandés pour la recherche sémantique. L'exemple suivant inclut les paramètres recommandés :

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

Les groupes de modèles vous permettent de gérer l'accès à des modèles spécifiques. L'enregistrement d'un groupe de modèles est facultatif. Cependant, si vous n'enregistrez pas, ML Commons crée un nouveau groupe de modèles pour vous. Nous vous recommandons donc d'enregistrer le groupe de modèles.

Enregistrez un groupe de modèles à l'aide de l'opération Enregistrer dans les API de groupe de modèles, comme indiqué dans l'exemple suivant :

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Notez le message model_group_id renvoyé dans la réponse :

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Une fois l'opération d'inscription terminée pour le modèle, vous pouvez déployer le modèle vers le cluster à l'aide de l'opération de déploiement des API de modèle, en transmettant model_id à partir de la réponse de l'opération Get à l'étape précédente, comme indiqué dans l'exemple suivant :

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Notez la valeur task_id renvoyée dans la réponse. Vous pouvez utiliser task_id pour vérifier le statut de l'opération.

Par exemple, à partir de la réponse suivante :

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

pour vérifier le statut de l'opération d'inscription, utilisez task_id avec l'opération Get des API des tâches, comme indiqué dans l'exemple suivant :

GET /_plugins/_ml/tasks/<task_ID>

Une fois l'opération de déploiement terminée, la valeur status dans la réponse à l'opération Get est COMPLETED.

A l'aide de l'ID de modèle du modèle déployé, créez un pipeline d'inclusion comme indiqué dans l'exemple suivant :

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

Le pipeline d'inclusion définit un processeur et les mappages de champ (dans ce cas, "passage_text" → "passage_embedding"). Cela signifie que si vous utilisez ce pipeline sur un index spécifique pour inclure les données, le pipeline trouve automatiquement le champ "passage_text", et utilise le modèle de pipeline pour générer les incorporations correspondantes, "passage_embedding", puis les met en correspondance avant l'indexation.

N'oubliez pas que "passage_text" → "passage_embedding" sont définis par l'utilisateur et peuvent être tout ce que vous voulez. Veillez à la cohérence de la dénomination lors de la création de l'index dans lequel vous prévoyez d'utiliser le pipeline. Le processeur de pipeline doit pouvoir mapper les champs comme décrit.

Lors de la création de l'index, vous pouvez indiquer le pipeline à utiliser pour l'inclusion de documents dans l'index.

L'exemple d'appel d'API suivant montre comment créer un index à l'aide du pipeline test-nlp-pipeline créé à l'étape précédente.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Lors de la création de l'index, vous devez également spécifier l'implémentation de bibliothèque du voisin le plus proche approximatif (ANN) que vous souhaitez utiliser. OCI Search with OpenSearch prend en charge les bibliothèques NMSLIB, Faiss et Lucene. Pour plus d'informations, reportez-vous à Moteurs de recherche.

L'exemple suivant utilise le moteur Lucene :

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Après avoir créé un index, vous pouvez désormais l'inclure dans l'index, comme indiqué dans l'exemple suivant :

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Utilisez un GET pour vérifier que les documents sont correctement ingérés et que les incorporations sont générées automatiquement lors de l'ingestion :

GET /test-index/_doc/3