使用 Oracle Cloud Infrastructure AI Agent Platform 构建 AI 驱动的聊天路由器

简介

本教程演示了如何构建 Oracle Cloud Infrastructure (OCI) AI 代理，该代理将使用 Oracle Cloud Infrastructure 代理开发工具包 (OCI ADK) 根据用户输入上下文将用户输入路由到 OCI Generative AI 服务中托管的 LLM。您将学习如何将 OCI 服务逻辑打包为工具，创建解释自然语言的 AI 代理，并根据上下文有效地获得答案。这可以充分利用 OCI 中使用 AI 代理托管的 LLM。

在本教程中，我们将在后端中仅使用两个 LLM。如果用户的输入基于内容生成或文本汇总，则该输入将发送到 Llama 3.3 70B ；如果用户的输入是关于编码或数学的，则将发送到 OCI Generative AI 服务上托管的 Llama 4 Maverick 。

注:

熟悉基本的 OCI 操作和 Python 开发是有帮助的，但不是必需的。

确保您的 OCI 用户和服务账户具有在 OCI 中访问 OCI Generative AI 服务和代理端点的权限。

设置第一个 AI 代理后，您可以使用新工具轻松扩展它，通过使用 OCI ADK 工具包界面定义和注册其他 OCI 服务。

目标

了解 OCI AI 代理和 OCI ADK 的架构和工作流程。
开发定制工具包。
配置、注册和运行 AI 代理，基于上下文提供最佳答案。
使用 AI 代理使用 OCI Generative AI 聊天服务。
利用此学习资源，使用 OCI ADK 开发与 OCI 服务类似的代理。

Prerequisites

安装 uv：根据 OS 使用以下命令安装 uv。

macOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows：

powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

创建虚拟环境：导航到项目目录并使用 uv 命令创建虚拟环境。
```
uv venv
```
激活虚拟环境：激活虚拟环境。
- macOS/Linux:
```
source .venv/bin/activate
```
- Windows：
```
.venv\Scripts\activate
```
安装必需的软件包：使用 uv 命令安装必需的软件包。
```
uv pip install oci "oci[adk]" rich pydantic docstring_parser
```
请确保：
- 有效的 OCI 身份证明和配置。有关更多信息，请参见 Setting up the Configuration File 。
- Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) 策略允许访问 OCI Generative AI 服务并注册和使用代理端点。
- 可用 OCI 代理端点或创建 OCI 代理端点的功能。

任务 1：从 OCI 控制台创建 OCI AI 代理

借助 Oracle Cloud Infrastructure AI Agent Platform (OCI AI Agent Platform)，您可以创建智能助手，以根据 OCI API 解释用户问题、制定操作计划以及调用定制或内置工具（技能）。每个工具都打包为具有特定方法的 Python 类，以确认 OCI ADK 的工具注册系统。

登录 OCI 控制台，导航到生成式 AI 代理，然后单击创建代理。
在基本信息部分中，输入名称和欢迎消息。在本教程中，路由指令将保留为空。单击下一步。
在添加工具部分中，不要创建任何工具。我们将使用 OCI ADK 来创建它。
在 Setup agent endpoint（设置代理端点）部分中，选择 Guardrails（守护进程）。
单击创建代理。

关键概念：

座席： AI 驱动的解释器和编排器。
Tool/toolkit：具有向代理公开的一个或多个操作的类 (@tool)。
代理端点：提供运行时和连接的 OCI 资源。
代理客户机：用于代理 - 端点通信的 Python 客户机。

注：座席可以跨多个工具包（例如 Oracle Cloud Guard、区间）路由用户请求，并根据需要编写多步骤操作。

任务 2：本地设置 OCI ADK

您将编写 Python 类，定义用于公开 Oracle Cloud Guard 操作的工具。每个函数都带有 @tool 注释，可以由代理使用自然语言调用。

更新代理文件中的验证

更新验证类型 (auth_type)，选择在其中创建 AI 代理端点的配置 profile 和 region。
更新端点 OCID (agent_endpoint_id) 以及 get_config.py 中。

任务 3。运行 AI 代理

下载以下文件并将其保存在同一目录中。
根据您的要求更新 oci_ai_route.py 文件中的输入。
使用以下命令运行 oci_ai_route.py 文件。
```
uv run oci_ai_route.py 
```
根据上下文调用所需的模型并生成内容。

注：您可以使用添加到 Web 应用程序或应用程序的 oci_ai_route.py 中的 agent.run() 来调用此代理。

确认

作者 — Mukund Murali（首席云架构师）