Pesquisa Semântica em OpenSearch

Se você estiver usando um dos modelos pré-treinados hospedados no OCI Search com o OpenSearch que não precisa configurar permissões, poderá ignorar o próximo pré-requisito, Definições de Cluster para Pesquisa Semântica. Consulte também Passo a Passo da Pesquisa Semântica.

Caso contrário, você precisará criar uma política para conceder o acesso necessário.

Você precisa criar uma política para conceder o acesso necessário.

ALLOW ANY-USER to manage object-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_id>'}

Para usar o OCI Generative AI, sua tenancy deve estar inscrita na região Centro-Oeste dos EUA (Chicago) ou na região Central da Alemanha (Frankfurt). Você não precisa criar o cluster em nenhuma dessas regiões, apenas certifique-se de que sua tenancy esteja inscrita em uma das regiões.

Use a operação configurações das APIs do Cluster para configurar as definições de cluster recomendadas para pesquisa semântica. O exemplo a seguir inclui as configurações recomendadas:

PUT _cluster/settings
{
  "persistent": {
    "plugins": {
      "ml_commons": {
        "only_run_on_ml_node": "false",
        "model_access_control_enabled": "true",
        "native_memory_threshold": "99",
        "rag_pipeline_feature_enabled": "true",
        "memory_feature_enabled": "true",
        "allow_registering_model_via_local_file": "true",
        "allow_registering_model_via_url": "true",
        "model_auto_redeploy.enable":"true",
        "model_auto_redeploy.lifetime_retry_times": 10
      }
    }
  }
}

Os grupos de modelos permitem que você gerencie o acesso a modelos específicos. O registro de um grupo de modelos é opcional. No entanto, se você não registrar um grupo de modelos, o ML Commons criará registros de um novo grupo de modelos para você. Por isso, recomendamos que você registre o grupo de modelos.

Registre um grupo de modelos usando a operação registrar nas APIs do Grupo de Modelos, conforme mostrado no seguinte exemplo:

POST /_plugins/_ml/model_groups/_register
{
  "name": "new_model_group",
  "description": "A model group for local models"
}

Anote o model_group_id retornado na resposta:

{
  "model_group_id": "<model_group_ID>",
  "status": "CREATED"
}

Depois que a operação de registro for concluída para o modelo, você poderá implantar o modelo no cluster usando a operação de implantação das APIs de Modelo, informando o model_id da resposta da operação Obter na etapa anterior, conforme mostrado no seguinte exemplo:

POST /_plugins/_ml/models/<embedding_model_ID>/_deploy

Anote o task_id retornado na resposta. Você pode usar o task_id para verificar o status da operação.

Por exemplo, a partir da seguinte resposta:

{
  "task_id": "<task_ID>",
  "task_type": "DEPLOY_MODEL",
  "status": "CREATED"
}

para verificar o status da operação de registro, use o task_id com a operação Get das APIs de Tarefas, conforme mostrado no seguinte exemplo:

GET /_plugins/_ml/tasks/<task_ID>

Quando a operação de implantação estiver concluída, o valor status na resposta à operação Obter será COMPLETED.

Usando o ID do modelo implantado, crie um pipeline de ingestão, conforme mostrado no seguinte exemplo:

PUT _ingest/pipeline/test-nlp-pipeline
{
  "description": "An example neural search pipeline",
  "processors" : [
    {
      "text_embedding": {
        "model_id": "<model_ID>",
        "field_map": {
           "passage_text": "passage_embedding"
        }
      }
    }
  ]
}

O pipeline de ingestão define um processador e os mapeamentos de campo (neste caso, "passage_text" → "passage_embedding" ) Isso significa que, se você usar esse pipeline em um índice específico para ingerir dados, o pipeline localizará automaticamente o campo "passage_text" e usará o modelo de pipeline para gerar as incorporações correspondentes, "passage_embedding", e depois os mapeará antes da indexação.

Lembre-se de que "passage_text" → "passage_embedding" são definidos pelo usuário e podem ser qualquer coisa que você quiser. Certifique-se de que você esteja consistente com a nomenclatura ao criar o índice no qual planeja usar o pipeline. O processador de pipeline precisa ser capaz de mapear os campos conforme descrito.

Durante a criação do índice, você pode especificar o pipeline que deseja usar para ingerir documentos no índice.

O exemplo de chamada de API a seguir mostra como criar um índice usando o pipeline test-nlp-pipeline criado na etapa anterior.

PUT /test-index
{
    "settings": {
        "index.knn": true,
        "default_pipeline": "test-nlp-pipeline"
    },
    "mappings": {
        "properties": {
            "passage_embedding": {
                "type": "knn_vector",
                "dimension": <model_dimension>,
                "method": {
                    "name":"hnsw",
                    "engine":"lucene",
                    "space_type": "l2",
                    "parameters":{
                        "m":512,
                        "ef_construction": 245
                    }
                }
            },
            "passage_text": {
                "type": "text"
            }
        }
    }
}

Ao criar o índice, você também precisa especificar qual implementação de biblioteca do vizinho mais próximo aproximado (ANN) você deseja usar. O OCI Search with OpenSearch suporta bibliotecas NMSLIB, Faiss e Lucene. Para obter mais informações, consulte Mecanismos de Pesquisa.

O exemplo a seguir usa o mecanismo Lucene:

{
  "model_id": "<model_ID>",
  "task_type": "REGISTER_MODEL",
  "function_name": "TEXT_EMBEDDING",
  "state": "COMPLETED",
  "worker_node": [
    "3qSqVfK2RvGJv1URKfS1bw"
  ],
  "create_time": 1706829732915,
  "last_update_time": 1706829780094,
  "is_async": true
}

Depois de criar um índice com sucesso, agora você pode ingerir dados no índice, conforme mostrado no seguinte exemplo:

POST /test-index/_doc/1
{
  "passage_text": "there are many sharks in the ocean"
}
 
POST /test-index/_doc/2
{
  "passage_text": "fishes must love swimming"
}
 
POST /test-index/_doc/3
{
  "passage_text": "summers are usually very hot"
}
 
POST /test-index/_doc/4
{
  "passage_text": "florida has a nice weather all year round"
}

Use uma GET para verificar se os documentos estão sendo ingeridos corretamente e se as incorporações estão sendo geradas automaticamente durante a ingestão:

GET /test-index/_doc/3