Recherche sémantique dans OpenSearch

Si vous utilisez l'un des modèles préentraînés hébergés dans le service de recherche pour OCI avec OpenSearch, vous n'avez pas besoin de configurer les autorisations, vous pouvez passer à la condition préalable suivante, Paramètres de grappe pour la recherche sémantique. Voir aussi Présentation sur la recherche sémantique.

Sinon, vous devez créer une politique pour accorder l'accès requis.

Vous devez créer une politique pour accorder l'accès requis.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Pour utiliser le service d'intelligence artificielle générative pour OCI, votre location doit être abonnée à la région Midwest des États-Unis (Chicago) ou à la région Centre de l'Allemagne (Francfort). Vous n'avez pas besoin de créer la grappe dans l'une ou l'autre de ces régions. Assurez-vous simplement que votre location est abonnée à l'une des régions.

Utilisez l'opération paramètres des API de grappe pour configurer les paramètres de grappe recommandés pour la recherche sémantique. L'exemple suivant présente les paramètres recommandés :

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

Les groupes de modèles permettent de gérer l'accès à des modèles spécifiques. L'enregistrement d'un groupe de modèles est facultatif. Toutefois, si vous n'enregistrez pas de groupe de modèles, ML Commons crée un nouveau groupe de modèles pour vous. Nous vous recommandons donc d'enregistrer le groupe de modèles.

Enregistrez un groupe de modèles à l'aide de l'opération Enregistrer dans les API de groupe de modèles, comme illustré dans l'exemple suivant :

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Notez la valeur model_group_id retournée dans la réponse :

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Une fois l'opération d'enregistrement terminée pour le modèle, vous pouvez déployer le modèle dans la grappe à l'aide de l'opération de déploiement des API de modèle, en transmettant model_id à partir de la réponse de l'opération Get à l'étape précédente, comme illustré dans l'exemple suivant :

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Notez la valeur task_id retournée dans la réponse. Vous pouvez utiliser task_id pour vérifier le statut de l'opération.

Par exemple, à partir de la réponse suivante :

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

pour vérifier le statut de l'opération d'enregistrement, utilisez task_id avec l'opération Obtenir des API de tâches, comme illustré dans l'exemple suivant :

GET /_plugins/_ml/tasks/<task_ID>

Une fois l'opération de déploiement terminée, la valeur status dans la réponse à l'opération Get est COMPLETED.

À l'aide de l'ID modèle du modèle déployé, créez un pipeline d'ingestion, comme illustré dans l'exemple suivant :

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

Le pipeline d'ingestion définit un processeur et les mappages de champ (dans ce cas, "passage_text" → "passage_embedding" ) Cela signifie que si vous utilisez ce pipeline sur un index spécifique pour ingérer des données, le pipeline trouve automatiquement le champ "passage_text" et utilise le modèle de pipeline pour générer les intégrations correspondantes, "passage_embedding", puis les mappe avant l'indexation.

N'oubliez pas que "passage_text" → "passage_embedding" sont définis par l'utilisateur et peuvent être ce que vous voulez. Assurez-vous d'être cohérent avec l'attribution de nom lors de la création de l'index où vous prévoyez d'utiliser le pipeline. Le processeur de pipeline doit pouvoir mapper les champs comme décrit.

Lors de la création de l'index, vous pouvez spécifier le pipeline à utiliser pour ingérer des documents dans l'index.

L'exemple d'appel d'API suivant montre comment créer un index à l'aide du pipeline test-nlp-pipeline créé à l'étape précédente.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Lors de la création de l'index, vous devez également spécifier l'implémentation de bibliothèque du voisin le plus proche approximatif (ANN) que vous souhaitez utiliser. OCI Search with OpenSearch prend en charge les bibliothèques NMSLIB, Faiss et Lucene. Pour plus d'informations, voir Moteurs de recherche.

L'exemple suivant utilise le moteur Lucene :

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Après avoir créé un index, vous pouvez désormais ingérer des données dans l'index, comme illustré dans l'exemple suivant :

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Utilisez un GET pour vérifier que les documents sont ingérés correctement et que les intégrations sont générées automatiquement lors de l'ingestion :

GET /test-index/_doc/3