OpenSearchのセマンティック検索

OpenSearchでOCI Search内でホストされている事前トレーニング済モデルのいずれかを使用している場合は、権限を構成する必要はありません。次の前提条件であるセマンティック検索のクラスタ設定にスキップできます。セマンティック検索ウォークスルーも参照してください。

それ以外の場合は、必要なアクセス権を付与するポリシーを作成する必要があります。

必要なアクセス権を付与するには、ポリシーを作成する必要があります。

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

OCI生成AIを使用するには、テナンシが米国中西部(シカゴ)リージョンまたはドイツ中央部(フランクフルト)リージョンにサブスクライブされている必要があります。これらのリージョンのいずれかにクラスタを作成する必要はありません。テナンシがいずれかのリージョンにサブスクライブされていることを確認してください。

クラスタAPIの設定操作を使用して、セマンティク検索の推奨クラスタ設定を構成します。次の例は、推奨される設定を示しています。

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

モデル・グループを使用すると、特定のモデルへのアクセスを管理できます。モデル・グループの登録はオプションです。ただし、モデル・グループを登録しない場合、ML Commonsは新しいモデル・グループを登録するため、モデル・グループを登録することをお薦めします。

次の例に示すように、モデル・グループAPIの登録操作を使用してモデル・グループを登録します。

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

レスポンスで返されたmodel_group_idを書き留めます。

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

モデルの登録操作が完了したら、次の例に示すように、モデルAPIのdeploy操作を使用して、前のステップでGet操作レスポンスからmodel_idを渡して、モデルをクラスタにデプロイできます。

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

レスポンスで返されたtask_idを書き留めます。task_idを使用して、操作のステータスを確認できます。

たとえば、次のレスポンスから:

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

レジスタ操作のステータスを確認するには、次の例に示すように、タスクAPIのGet操作でtask_idを使用します。

GET /_plugins/_ml/tasks/<task_ID>

デプロイ操作が完了すると、Get操作に対するレスポンスのstatus値はCOMPLETEDになります。

デプロイされたモデルのモデルIDを使用して、次の例に示すように取込みパイプラインを作成します。

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

取込みパイプラインは、プロセッサとフィールド・マッピング(この場合は「passage_text」 → 「passage_embedding」)を定義します。つまり、このパイプラインを特定の索引で使用してデータを取り込む場合、パイプラインは自動的に「passage_text」フィールドを検出し、パイプライン・モデルを使用して対応する埋込み「passage_embedding」を生成し、索引付けの前にマップします。

「passage_text」 → 「passage_embedding」はユーザー定義であり、任意のものにできることに注意してください。パイプラインを使用する予定の索引を作成する際に、ネーミングに一貫性があることを確認してください。パイプライン・プロセッサは、説明に従ってフィールドをマップできる必要があります。

索引の作成時に、索引へのドキュメントの取込みに使用するパイプラインを指定できます。

次のAPI呼び出しの例は、前の手順で作成した test-nlp-pipelineパイプラインを使用してインデックスを作成する方法を示しています。

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

索引を作成する場合は、使用する近接近傍(ANN)のライブラリ実装も指定する必要があります。OCI Search with OpenSearchでは、NMSLIB、FaissおよびLuceneライブラリがサポートされます。詳細は、検索エンジンを参照してください。

次の例では、Luceneエンジンを使用します。

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

索引を正常に作成した後、次の例に示すように、索引にデータを取り込むことができます。

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

GETを使用して、ドキュメントが正しく収集され、収集中に埋込みが自動生成されていることを確認します:

GET /test-index/_doc/3