Semantische Suche in OpenSearch

Wenn Sie eines der vorgeschulten Modelle verwenden, die in OCI Search mit OpenSearch gehostet werden, müssen Sie keine Berechtigungen konfigurieren, können Sie zur nächsten Voraussetzung Clustereinstellungen für die semantische Suche springen. Siehe auch Schritt-für-Schritt-Anleitung für semantische Suche.

Andernfalls müssen Sie eine Policy erstellen, um den erforderlichen Zugriff zu erteilen.

Sie müssen eine Policy erstellen, um den erforderlichen Zugriff zu erteilen.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Um OCI Generative AI verwenden zu können, muss Ihr Mandant die Region "US Midwest (Chicago)" oder die Region "Germany Central (Frankfurt)" abonniert haben. Sie müssen das Cluster nicht in einer dieser Regionen erstellen. Stellen Sie einfach sicher, dass Ihr Mandant eine der Regionen abonniert hat.

Verwenden Sie den Vorgang Einstellungen der Cluster-APIs, um die empfohlenen Clustereinstellungen für die semantische Suche zu konfigurieren. Das folgende Beispiel enthält die empfohlenen Einstellungen:

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

Mit Modellgruppen können Sie den Zugriff auf bestimmte Modelle verwalten. Die Registrierung einer Modellgruppe ist optional. Wenn Sie jedoch keine Modellgruppe registrieren, erstellt ML Commons eine neue Modellgruppe für Sie. Daher empfehlen wir Ihnen, die Modellgruppe zu registrieren.

Registrieren Sie eine Modellgruppe mit dem Vorgang registrieren in den Modellgruppen-APIs, wie im folgenden Beispiel dargestellt:

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Notieren Sie sich die in der Antwort zurückgegebene model_group_id:

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Nachdem der Registrierungsvorgang für das Modell abgeschlossen ist, können Sie das Modell mit dem Deployment-Vorgang der Modell-APIs im Cluster bereitstellen und die model_id aus der Antwort des Get-Vorgangs im vorherigen Schritt übergeben, wie im folgenden Beispiel dargestellt:

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Notieren Sie sich die in der Antwort zurückgegebene task_id. Mit der task_id können Sie den Status des Vorgangs prüfen.

Beispiel: Von der folgenden Antwort:

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

Um den Status des Registervorgangs zu prüfen, verwenden Sie task_id mit dem Vorgang Get der Aufgaben-APIs, wie im folgenden Beispiel dargestellt:

GET /_plugins/_ml/tasks/<task_ID>

Wenn der Deployment-Vorgang abgeschlossen ist, lautet der Wert status in der Antwort auf den Get-Vorgang COMPLETED.

Erstellen Sie mit der Modell-ID des bereitgestellten Modells eine Aufnahmepipeline, wie im folgenden Beispiel dargestellt:

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

Die Aufnahmepipeline definiert einen Prozessor und die Feldmappings (in diesem Fall "passage_text" → "passage_embedding"). Wenn Sie diese Pipeline für einen bestimmten Index zum Erfassen von Daten verwenden, ermittelt die Pipeline automatisch das Feld "passage_text", und generieren Sie mit dem Pipelinemodell die entsprechenden Einbettungen, "passage_embedding", und ordnet sie dann vor der Indexierung zu.

Denken Sie daran, dass "passage_text" → "passage_embedding" benutzerdefiniert sind und beliebig sein können. Stellen Sie sicher, dass Sie mit der Benennung konsistent sind, während Sie den Index erstellen, in dem Sie die Pipeline verwenden möchten. Der Pipelineprozessor muss in der Lage sein, die Felder wie beschrieben zuzuordnen.

Während der Indexerstellung können Sie die Pipeline angeben, mit der Sie Dokumente in den Index aufnehmen möchten.

Das folgende API-Aufrufbeispiel zeigt, wie Sie einen Index mit der Pipeline test-nlp-pipeline erstellen, die im vorherigen Schritt erstellt wurde.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Beim Erstellen des Index müssen Sie auch angeben, welche Library-Implementierung von Approximate Nearest Neighbor (ANN) Sie verwenden möchten. OCI Search mit OpenSearch unterstützt NMSLIB-, Faiss- und Lucene-Bibliotheken. Weitere Informationen finden Sie unter Such-Engines.

Im folgenden Beispiel wird die Lucene-Engine verwendet:

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Nachdem Sie einen Index erfolgreich erstellt haben, können Sie nun Daten in den Index aufnehmen, wie im folgenden Beispiel dargestellt:

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Mit einem GET können Sie prüfen, ob die Dokumente korrekt aufgenommen werden und Einbettungen während der Aufnahme automatisch generiert werden:

GET /test-index/_doc/3