最佳实践

本节介绍了将企业 AI 代理部署到生产环境中的基本最佳实践。

1. 定义代理的范围

每个生产代理都需要一个狭义的定义。

为每个座席定义以下内容:

  • 业务目标
  • 成功指标
  • 允许的活动
  • 被禁止操作
  • 人工审批要求
  • 升级途径

设计代理以解决特定的业务问题,而不是作为通用助手。与单个单体代理相比,小型专用代理可降低验证、安全、监视和维护的复杂性。

实际中的银行示例:贷款服务座席仅限于五个活动:回答贷款余额和付款历史记录问题、解释再融资资格、生成付款提醒、创建服务单以及将困难请求传送给人工专员。它无法批准贷款修改、免除费用、更改付款到期日或释放资金。缩小范围可降低运营和监管风险,同时提高准确性。


后面是 scope-example.png 的说明
插图 scope-example.png 的说明

生产实施:LangGraph 为意图分类、账户检索、策略查找、工作单创建和人工移交定义专用节点。Oracle Enterprise AI Response API 执行推理,而每个状态更改操作都委托给受监管的企业 API,而不是由模型直接执行。

2. 构建模块化代理体系结构

企业座席使用模块化架构,将推理与执行分开。

典型组件包括:

  • 用户界面
  • 计划和推理层
  • 工具编排
  • 企业连接器
  • 内存服务
  • 检索服务 (RAG)
  • 策略引擎
  • 可观测层
  • 安全级别

分离职责有助于团队在不影响整个系统的情况下独立改进组件,并简化测试和调试。

实际中的示例银行:工作流使用独立阶段而不是一个大提示:提取客户的请求,检索其贷款和账户记录,检查适用的服务策略,计算任何相关数字(付清金额、下一个到期日),拟定回应,并在需要时请求人工审批。欺诈和苛刻检测模块可以独立于客户通信模块进行升级。


后面是 architecture-example.png 的说明
插图体系结构的说明 - example.png

生产实施:LangGraph 将每个阶段编排为隔离节点。LangChain OCI 为银行的贷款服务平台提供可重用的连接器,而 Oracle Enterprise AI Response API 可独立处理每个阶段的推理。

3. 实施强大的工具监管

代理只能与其可以访问的工具一样安全。

为每个工具定义以下内容:

  • 显式输入方案
  • 输出验证
  • 验证要求
  • 授权的规则
  • 超时限制
  • 重试行为
  • 费率限制
  • 幂等保证

切勿直接向大型语言模型 (LLM) 公开不受限制的 API。而是将企业 API 包装在受控的工具界面中,以便在执行前验证每个请求。

实际中的银行实例:座席可以启动“付款提醒”或“服务单”,但绝不能直接访问核心银行分类帐。每个操作都通过一个服务工具来验证客户的身份,确认账户状况良好,检查请求的操作是否在策略限制范围内,然后仅调用核心银行 API。


后面是 Governing-example.png 的说明
插图 governance-example.png 的说明

生产实施:LangChainOCI 将服务工具公开为具有严格输入/输出模式的结构化函数。Oracle Identity 在工具执行之前验证调用者的授权,并且每个调用(无论是成功调用还是拒绝调用)都将记录下来进行审计。

4. 实施强大的身份和访问管理

生产代理必须根据企业身份策略进行操作。

最佳做法包括:

  • 最少权限访问
  • 短暂身份证明
  • OAuth 或企业身份提供者
  • 基于角色的访问控制 (RBAC)
  • 通过安全 Vault 进行密钥管理
  • 完成审计日志记录

代理绝不能获得比他们所代表的人类用户更广泛的权限。

实际中的银行示例:使用代理的贷款官员只能查看和处理其分配组合中的帐户。当代理代表该负责人进行身份验证时,它将继承相同的权限,不再需要。如果主管询问其投资组合之外的客户,则基础工具会在模型生成响应之前拒绝该请求。


后面是 iam-example.png 的说明
插图 iam-example.png 的说明

生产实施:Oracle Identity Cloud Service (IDCS) 对每个用户会话进行验证。将根据用户的身份、角色和资源所有权检查每个工具调用。此检查可确保代理从不超过请求员工自己的访问权限。

5. 将检索增强生成 (RAG) 用于企业知识

企业座席使用检索,而不仅仅是依靠模型训练。

使用以下练习:

  • 在可搜索的索引中存储企业知识
  • 动态检索相关文档
  • 检索期间应用文档权限
  • 尽可能引用源
  • 版本企业知识

精心设计的 RAG 架构可提高准确性,减少幻觉,并确保响应保持不变,无需再训练模型。

实际中的示例银行:当客户询问重新融资资格时,座席将检索当前的服务策略手册、适用的费率表和相关的监管披露,而不是依赖基础模型的培训数据。每个答案都引用了支持它的特定策略部分。当银行更新其再融资条款时,代理将反映更改。


后面是 rag-example.png 的说明
插图 rag-example.png 的说明

生产实施:LangGraph 包括专用检索节点。Oracle AI Database 26ai 使用原生 VECTOR 数据类型对策略手册和速率表进行分块和嵌入,并使用 HNSW 索引进行快速相似性搜索,混合向量索引将语义和全文匹配相结合,以实现精确的策略查找。检索前行级别的安全筛选器结果仅包括允许用户查看的文档,而 LangChain OCI 查询此存储,以便 Oracle Enterprise AI Response API 将权限筛选的段落与客户问题相结合,以生成接地、可访问的响应。

6. 人性化审批的设计

有些决定需要人工批准。

要求获得高风险运营人员的明确批准,包括:

  • 金融交易
  • 客户沟通
  • 基础结构修改
  • 生产环境部署
  • 数据删除
  • 法律或合规性措施

审批工作流可降低运营风险,同时实现低风险任务的自动化。

实际中的银行示例:座席可以自动发送付款提醒或生成付清报价,但任何隐含困难住宿的请求(如付款延期、费用减免或修改的还款计划)、暂停和通往人工贷款专员的路线。在决定之前,专家会收到客户情况、客户历史记录和座席建议的摘要。


后面是 hitl-exampe.png 的说明
插图 hitl-exampe.png 的说明

生产实施:审批步骤作为 LangGraph 检查点实施。工作流状态将持续到人工响应为止。持久状态允许进程在暂停的位置恢复,即使这需要数小时或数天。

7. 优先考虑可靠性和弹性

可靠的企业部署可以预测故障,而不是假设理想的条件。

设计代理以优雅地处理以下故障:

  • API 故障
  • 网络停机
  • 部分工具故障
  • 速率限制
  • 上下文窗口限制
  • 模型不可用
  • 响应无效

建议的工程实践包括断路器、带指数回退的重试策略、请求超时、回退模型、基于队列的处理、死信队列以及检查点长时间运行的工作流。弹性系统可自动恢复,无需操作员干预。

实际中的银行示例:在常规服务请求期间,核心银行 API 超时,身份服务短暂变为不可用。代理不会结束客户的会话,而是以指数回退重试,回退到账户的缓存只读视图以查找信息性问题,并在服务恢复时自动恢复完整功能。这种方法可以最大限度地减少对客户的干扰。


后面是 iability-example.png 的说明
插图 iability-example.png 的说明

生产实施:LangGraph 检查点在故障期间保留工作流状态。Oracle Enterprise AI Deployment 可自动扩展负载下的推断端点,企业 API 连接器默认实施重试策略和断路器。

8. 建立全面的可观察性

企业 AI 系统需要与分布式软件系统相同的观测级别。

捕获提示、响应、工具调用、延迟、令牌消耗、成本、成功率、错误率、人工审批、用户反馈和执行跟踪。跨座席工作流的分布式跟踪可简化故障排除和性能优化。

实际中的示例银行:客户开始报告服务代理的响应速度较慢。工程师无需猜测,而是检查分布式跟踪并找到细分:模型响应 1.1 秒,策略检索 140 毫秒,核心银行查找 4.6 秒,身份检查 250 毫秒。这些跟踪将瓶颈标识为核心银行服务呼叫的缓慢,而不是代理本身。


后面是 Observability-example.png 的说明
图 Observability-example.png 的说明

生产实施:每个 LangGraph 节点都会发出跟踪、度量和日志。OpenTelemetry 将 LangGraph、Oracle Enterprise AI 响应 API、企业连接器、检索索引和 Oracle Enterprise AI 部署中的完整请求路径相关联。这种相关性为运营团队提供了全面的端到端可见性。

9. 持续评估

生产代理需要持续评估。

维护涵盖业务方案、边缘案例、故障案例、对抗提示、安全攻击和回归测试的评估数据集。将自动评估整合到 CI/CD 管道中,以便在发布之前验证每个提示、工作流或模型更新。

实际中的示例银行:在任何模型或提示更新到达贷款服务代理之前,它针对固定评估套件运行:2,000 次历史服务对话、500 次监管边缘案例(例如,贷款法要求的披露)、200 次嵌入在上载文档中的提示注入尝试以及合规准确性基准。仅提升达到或超过当前生产基线的版本。


后面是 valuate-example.png 的说明
插图 Evaluation-example.png 的说明

生产实施: CI/CD 管道会在每次更改时自动运行评估套件。提示编辑、工作流更改和模型升级都需要先通过这些回归基准,然后才能授权部署。

10. 防止提示注入和数据泄漏

及时注射仍然是助剂系统中最重要的风险之一。

缓解策略包括输入验证、提示清理、工具隔离、上下文分离、输出筛选、敏感数据编写以及执行前策略实施。代理绝不能遵循从外部文档或 Web 内容中检索到的说明,而无需验证。

实际中的示例银行:客户上传再融资请求的支持单据。文档的元数据包含隐藏文本,指示系统立即批准请求。由于系统会将上载的文档视为不可信数据,因此代理将忽略嵌入的指令,并继续仅根据银行的实际服务策略评估请求。


后面是 secure-example.png 的说明
插图 secure-example.png 的说明

生产实施:LangGraph 将系统指令、用户输入、检索到的文档和工具结果保存在单独的通道中。策略验证将在每次工具调用之前运行。这种分层防御可以防止注入的指令影响敏感动作。作为应用层下方的附加控件,Oracle Deep Data Security 可直接在 Oracle AI Database 26ai 中实施声明性行级、列级和单元级策略。即使注入的指令导致代理发出未经授权的查询,数据库也会使用官的传播身份和运行时上下文来仅返回官有权查看的数据,并将其他所有内容掩码为 NULL。

11. 管理上下文和内存

将内存视为企业数据。

最佳实践包括将会话内存与长期内存分离、加密存储内存、定义保留策略、支持内存删除、版本控制内存更新以及避免存储不必要的个人信息。只有保留信息,以提高未来的任务性能,同时尊重隐私法规。

示例银行:贷款服务代理初始化由银行的 Oracle AI Database 连接池支持的单个 OracleAgentMemory 实例。每个客户交互都变成一个线程,范围限定到该客户的 user_id。

  • 当客户说“我更希望将来通过文本联系”之类的话时,座席会调用 thread.add_messages(...),它将原始对话写入数据库中,并自动提取持久的事实,即首选联系渠道首选项,而无需单独的提取步骤。
  • 有关座席保留在正常对话流之外的信息(例如,“7 月 3 日,客户的困难情况已向专家汇报”),它使用 thread.add_memory(...) 明确地进行写操作。
  • 在以后的调用中,代理使用 memory.search(query=...,scope=SearchScope(user_id=...) 检索相关历史记录。此范围按客户对内存进行分区。贷款负责人的代理会话只能在授权范围内(代理、用户或团队级别)进行搜索,这些权限继承自该负责人的自身企业身份。

此设计映射到银行在会话内存和长期内存之间所需的拆分:原始消息历史记录充当会话或工作内存,而提取的事实和状态充当持久的跨会话内存。持久内存可帮助座席识别退货客户的偏好,无需再次询问。座席还可以使用“相似性”标记类似于以前困难情况的新请求,而无需保留银行不希望座席保留的账号或身份验证数据。


后面是 memory-example.png 的说明
插图 memory-example.png 的说明

生产实施:会话和长期内存都位于 Oracle AI Database 26ai 中。提取的事实和状态使用本机 VECTOR 数据类型进行存储,并使用 HNSW 向量索引进行索引。弹性向量内存随着内存的增长而保持检索速度。混合向量索引将语义搜索和全文搜索相结合,为相似性查找提供支持,搜索准确度可调为百分比。Governed Access 使用 Oracle 内置的数据库安全性,包括加密、数据屏蔽和活动审计。权限从第 4 部分中所述的同一身份系统继承。保留作为调度的生命周期作业运行,该作业清除超过银行监管窗口的内存。

12. 构建负责任的 AI 护栏

企业部署需要多层 AI 治理。

使用护栏解决有害内容、偏见检测、毒性过滤、合规要求、隐私保护、知识产权和监管义务。保持对特殊情况的人类监督。

实际中的示例银行:贷款是一项严格监管的活动,因此座席在发送之前通过合规性保护栏运行面向客户的每项响应。监护人检查所要求的监管披露(如公平借贷语言),并筛选可以解释为对受保护阶级的歧视性声明的语言。它还阻止代理在信息被记录或引用之前做出任何类似于有约束力的信用决定的声明,并编辑个人可识别信息。


后面是 gurdrails-example.png 的说明
插图 gurdrails-example.png 的说明

生产实施:策略引擎位于推理层和面向客户的输出之间,并将合规性和负责任的 AI 规则应用为最终检查点。策略引擎会自动阻止违规行为并将其发送给合规性审核者,而不是向客户演示违规行为。

13. 优化成本和性能

生产代理在能力与运营效率之间取得平衡。

优化技术包括模型路由、响应缓存、语义缓存、令牌优化、上下文压缩、批处理推断、流响应和动态模型选择。并非每个请求都需要最大的可用模型;为每个任务选择合适的模型可以减少延迟和运营成本。

实际中的示例银行:一个简单的“我的下一个付款到期日期是什么”问题将路由到由语义高速缓存支持的较小、低延迟模型,因为答案是一个简单的查找。需要跨策略文档进行多步推理的细微调整资格问题将路由到更大的模型。这种动态路由可将座席的平均响应成本降低一半以上,同时不会降低复杂请求的准确性。


后面是 optimization-example.png 的说明
插图 optimized-example.png 的说明

生产实施:Oracle Enterprise AI Deployment 支持多个并发部署的模型层,LangGraph 的路由节点根据意图分类选择适当的层,并在最大容量、最小复杂性请求类型前面放置一个语义高速缓存。

14. 实施安全部署实践

将代理部署视为软件发行版。

建议的实践包括版本控制提示和工作流、金丝雀部署、蓝色/绿色部署、功能标志、回滚机制、配置管理和基础设施即代码 (IaC)。使用与应用程序代码相同的处理检查和测试提示更改。

示例银行:当银行引入新的再融资建议功能时,它不会立即在银行范围内发布该功能。该银行分阶段部署该功能:仅在第 1 周向内部贷款官员部署,在第 2 周向 5% 的客户部署,第 3 周向 25% 的客户部署,在第 4 周向所有客户部署。银行监控每个阶段的错误率,并在费率超过定义的阈值时自动回滚该功能。


后面是 deployment-example.png 的说明
插图 deployment-example.png 的说明

生产实施:Oracle Enterprise AI Deployment 可管理版本化模型端点,IaC 可跨开发、测试和生产供应一致的环境,并且功能标志可独立于底层模型部署来控制部署。

15. 评估业务成效

仅仅技术指标是不够的。

跟踪以业务为中心的 KPI,例如任务完成率、人工干预率、客户满意度、解决时间、运营成本节省、生产力提高、准确性和合规性率。这些指标展示了业务价值,并指导了持续改进工作。

示例银行:在启动六个月后,银行会跟踪可衡量结果,而不是仅跟踪模型准确性。

KPI 代理之前 代理之后
平均解析时间 18 分钟 5 分钟
首次联系解决 62% 87%
人类升级 45% 14%
客户满意程度 4.1 / 5 4.7 / 5
每次服务交互的成本 $8.40 $2.75

这些结果显示了可衡量的业务价值,而不仅仅是技术性能。

生产实施:OpenTelemetry 指标与从银行的 CRM 和贷款服务系统中提取的业务 KPI 相结合。工程仪表盘将延迟、令牌使用和工具故障率等技术指标与业务成果(如解决时间和客户满意度)相关联。这种关联可基于实际运营影响持续优化。