Criando um Assistente de IA com OpenSearch e OCI Generative AI

• A tenancy deve estar inscrita na região Centro-Oeste dos EUA (Chicago) ou na região Central da Alemanha (Frankfurt). Não é necessário criar o cluster em nenhuma dessas regiões, apenas certifique-se de que a tenancy esteja inscrita em uma das regiões.
• Para usar o kit de ferramentas do assistente do AI com o OpenSearch, você precisa de um cluster com a imagem OpenSearch versão 2.15 ou posterior. Por padrão, novos clusters são configurados para usar a versão 2.15. Para criar um cluster, consulte Criando um Cluster OpenSearch.

  Para clusters existentes configurados para a versão 2.3 ou 2.11, você pode executar um upgrade em linha para a versão 2.15. Para obter mais informações, consulte OpenSearch Cluster Software Upgrades.

  Para fazer upgrade de clusters existentes configurados para a versão 1.2.3 para 2.15, use o processo de upgrade descrito em Fazendo Upgrade Manual de um Cluster OpenSearch.

• Crie uma política para conceder acesso a recursos do serviço Generative AI. O exemplo de política a seguir inclui as permissões necessárias:

  ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_OCID>'}

  Para obter informações sobre como criar uma política, consulte Criando uma Política.

  Se você não conhece as políticas, consulte Conceitos Básicos de Políticas e Políticas Comuns.

• Use a operação configurações das APIs do Cluster para configurar as definições de cluster recomendadas que permitem criar um conector. O exemplo a seguir inclui as configurações recomendadas:

  PUT _cluster/settings
  {
    "persistent": {
      "plugins": {
        "ml_commons": {
          "only_run_on_ml_node": "false",
          "model_access_control_enabled": "true",
          "native_memory_threshold": "99",
          "rag_pipeline_feature_enabled": "true",
          "memory_feature_enabled": "true",
          "allow_registering_model_via_local_file": "true",
          "allow_registering_model_via_url": "true",
          "model_auto_redeploy.enable":"true",
          "model_auto_redeploy.lifetime_retry_times": 10
        }
      }
    }
  }

  Exemplo de resposta:

  {
    "acknowledged": true,
    "persistent": {
      "plugins": {
        "ml_commons": {
          "rag_pipeline_feature_enabled": "true",
          "memory_feature_enabled": "true",
          "only_run_on_ml_node": "false",
          "model_access_control_enabled": "true",
          "native_memory_threshold": "99",
          "allow_registering_model_via_local_file": "true",
          "model_auto_redeploy": {
            "lifetime_retry_times": "10",
            "enable": "true"
          },
          "allow_registering_model_via_url": "true"
        }
      }
    },
    "transient": {}
  }

Para usar o Assistente de IA Generativa, crie um modelo de chat de IA Generativa para interpretar as instruções do usuário e, em seguida, responder com as informações solicitadas. A criação de um modelo de IA Generativa inclui as seguintes etapas:

1. Registre o grupo de modelos.
2. Crie o conector.
3. Registre o modelo.
4. Implante o modelo.

Depois de criar o modelo de IA Generativa, você poderá usá-lo para criar um agente de conversação. Este agente combina o modelo de IA generativa com ferramentas especificadas pelo usuário, permitindo que ele interprete o texto do usuário em invocações de ferramentas, retornando sua interpretação dos resultados ao usuário. O modelo retorna os resultados interpretados. Consulte Crie seu próprio chatbot e Agentes e ferramentas para obter mais informações.

Este exemplo usa o índice opensearch_dashboards_sample_data_ecommerce incorporado, que você pode adicionar ao cluster OpenSearch por meio do Painel de Controle. Neste exemplo, o agente recebe um PPLTool e CatIndexTool. O PPLTool traduz as instruções do usuário para a Linguagem de Processamento Piped (PPL), que permite ao agente executar solicitações em dados de índice. O CatIndexTool permite que o agente liste índices no cluster. Esta ferramenta é necessária para qualquer assistente útil. Use a documentação OpenSearch em AI Agents para obter informações sobre como configurar seu próprio caso de uso.

Selecione os seguintes links para obter mais informações sobre esses recursos do OpenSearch:

• PPLTool
• VisualizationTool
• VectorDBTool
• CatIndexTool

POST _plugins/_ml/agents/_register
{
  "name": "Chat Agent with Llama",
  "type": "conversational",
  "description": "this is a test agent",
  "app_type": "os_chat",
  "llm": {
    "model_id": "<genAI_model_ID>",
    "parameters": {
      "max_iteration": 5,
      "message_history_limit": 5,
      "disable_trace": false
    }
  },
  "memory": {
    "type": "conversation_index"
  },
  "tools": [
    {
      "type": "PPLTool",
      "description": "Use this tool to transfer natural language to generate PPL and execute PPL to query inside. Use this tool after you know the index name, otherwise, call IndexRoutingTool first. The input parameters are: {index:IndexName, question:UserQuestion}.",
      "parameters": {
        "model_id": "<genAI_model_ID>",
        "model_type": "OPENAI",
        "execute": true
      },
      "include_output_in_agent_response": true
    },
    {
      "type": "CatIndexTool",
      "description": "Use this tool to get OpenSearch index information: (health, status, index, uuid, primary count, replica count, docs.count, docs.deleted, store.size, primary.store.size). \nIt takes 2 optional arguments named `index` which is a comma-delimited list of one or more indices to get information from (default is an empty list meaning all indices), and `local` which means whether to return information from the local node only instead of the cluster manager node (default is false)."
    }
  ]
}

Uma resposta semelhante à seguinte é retornada. Anote o agent_id retornado.

{
  "agent_id": "<conversational_agent_ID>"
}

<genAI_model_ID>

Depois de criar o agente de conversação, você cria o agente de chatbot e o configura como o agente de chatbot raiz no Painel de Controle OpenSearch do cluster. O agente de chatbot neste exemplo usa o agente de conversação para interpretar e responder perguntas e também usa o MLModelTool para sugerir novas perguntas.