Creación de un asistente de IA con OpenSearch y OCI Generative AI

• El arrendamiento debe estar suscrito a la región del Medio Oeste de EE. UU. (Chicago) o a la región del Centro de Alemania (Fráncfort). No necesita crear el cluster en ninguna de esas regiones, solo asegúrese de que el arrendamiento está suscrito a una de las regiones.
• Para utilizar el kit de herramientas del asistente de AI con OpenSearch, necesita un cluster con la versión de imagen 2.15 o posterior de OpenSearch. Por defecto, los nuevos clusters están configurados para utilizar la versión 2.15. Para crear un cluster, consulte Creación de un cluster OpenSearch.

  Para los clusters existentes configurados para la versión 2.3 o la versión 2.11, puede realizar una actualización en línea a la versión 2.15. Para obtener más información, consulte OpenSearch Cluster Software Upgrades.

  Para actualizar los clusters existentes configurados para la versión 1.2.3 a 2.15, debe utilizar el proceso de cambio de versión descrito en Actualización manual de un cluster OpenSearch.

• Cree una política para otorgar acceso a los recursos de IA generativa. El siguiente ejemplo de política incluye los permisos necesarios:

  ALLOW ANY-USER to manage generative-ai-family in tenancy WHERE ALL {request.principal.type='opensearchcluster', request.resource.compartment.id='<cluster_compartment_OCID>'}

  Para obtener información sobre la creación de una política, consulte Creación de una política.

  Si no está familiarizado con las políticas, consulte Introducción a las políticas y Políticas comunes.

• Utilice la operación de configuración de las API de cluster para configurar los valores de cluster recomendados que le permiten crear un conector. El siguiente ejemplo incluye la configuración recomendada:

  PUT _cluster/settings
  {
    "persistent": {
      "plugins": {
        "ml_commons": {
          "only_run_on_ml_node": "false",
          "model_access_control_enabled": "true",
          "native_memory_threshold": "99",
          "rag_pipeline_feature_enabled": "true",
          "memory_feature_enabled": "true",
          "allow_registering_model_via_local_file": "true",
          "allow_registering_model_via_url": "true",
          "model_auto_redeploy.enable":"true",
          "model_auto_redeploy.lifetime_retry_times": 10
        }
      }
    }
  }

  Respuesta de ejemplo:

  {
    "acknowledged": true,
    "persistent": {
      "plugins": {
        "ml_commons": {
          "rag_pipeline_feature_enabled": "true",
          "memory_feature_enabled": "true",
          "only_run_on_ml_node": "false",
          "model_access_control_enabled": "true",
          "native_memory_threshold": "99",
          "allow_registering_model_via_local_file": "true",
          "model_auto_redeploy": {
            "lifetime_retry_times": "10",
            "enable": "true"
          },
          "allow_registering_model_via_url": "true"
        }
      }
    },
    "transient": {}
  }

Para utilizar el Asistente de IA generativa, debe crear un modelo de chat de IA generativa para interpretar las instrucciones del usuario y, a continuación, responder con la información solicitada. La creación de un modelo de IA generativa incluye los siguientes pasos:

1. Registre el grupo de modelos.
2. Cree el conector.
3. Registrar el modelo.
4. Desplegar el modelo.

Después de crear el modelo de IA generativa, puede utilizarlo para crear un agente conversacional. Este agente combina el modelo de IA generativa con herramientas especificadas por el usuario, lo que le permite interpretar el texto del usuario en invocaciones de herramientas, devolviendo su interpretación de los resultados al usuario. El modelo devuelve los resultados interpretados. Consulte Creación de su propio bot conversacional y Agentes y herramientas para obtener más información.

En este ejemplo se utiliza el índice opensearch_dashboards_sample_data_ecommerce incorporado, que puede agregar al cluster OpenSearch mediante el panel de control. En este ejemplo, al agente se le asignan PPLTool y CatIndexTool. PPLTool convierte las instrucciones de usuario en lenguaje de procesamiento por pipeline (PPL), que permite al agente ejecutar solicitudes en datos de índice. CatIndexTool permite al agente mostrar índices en el cluster. Esta herramienta es necesaria para cualquier asistente útil. Utilice la OpenSearch documentation en AI Agents para obtener información sobre la configuración de su propio caso de uso.

Seleccione los siguientes enlaces para obtener más información sobre estas funciones de OpenSearch:

• PPLTool
• VisualizationTool
• VectorDBTool
• CatIndexTool

POST _plugins/_ml/agents/_register
{
  "name": "Chat Agent with Llama",
  "type": "conversational",
  "description": "this is a test agent",
  "app_type": "os_chat",
  "llm": {
    "model_id": "<genAI_model_ID>",
    "parameters": {
      "max_iteration": 5,
      "message_history_limit": 5,
      "disable_trace": false
    }
  },
  "memory": {
    "type": "conversation_index"
  },
  "tools": [
    {
      "type": "PPLTool",
      "description": "Use this tool to transfer natural language to generate PPL and execute PPL to query inside. Use this tool after you know the index name, otherwise, call IndexRoutingTool first. The input parameters are: {index:IndexName, question:UserQuestion}.",
      "parameters": {
        "model_id": "<genAI_model_ID>",
        "model_type": "OPENAI",
        "execute": true
      },
      "include_output_in_agent_response": true
    },
    {
      "type": "CatIndexTool",
      "description": "Use this tool to get OpenSearch index information: (health, status, index, uuid, primary count, replica count, docs.count, docs.deleted, store.size, primary.store.size). \nIt takes 2 optional arguments named `index` which is a comma-delimited list of one or more indices to get information from (default is an empty list meaning all indices), and `local` which means whether to return information from the local node only instead of the cluster manager node (default is false)."
    }
  ]
}

Se devuelve una respuesta similar a la siguiente. Anote el valor agent_id devuelto.

{
  "agent_id": "<conversational_agent_ID>"
}

<genAI_model_ID>

Después de crear el agente conversacional, cree el agente de chatbot y configúrelo como agente de chatbot raíz en el panel de control OpenSearch para el cluster. El agente de chatbot de este ejemplo utiliza el agente conversacional para interpretar y responder preguntas, y también utiliza MLModelTool para sugerir nuevas preguntas.