规划部署
使用以下基本步骤部署此体系结构:
- 将架构构建块映射到 Oracle Cloud Infrastructure 服务
- 规划初始实施,重点关注座席编排
- 通过添加代理和集成高级 LLM 推理来增强初始实施
映射 OCI 服务
Oracle Cloud Infrastructure (OCI) 以云原生、可扩展的方式提供实施此系统所需的所有构建块。
将每个组件映射到 OCI 服务,如下所示。
- Orchestrator 实施
您可以在 Oracle Linux 虚拟机 (VM) 上的 OCI Compute 实例上运行 MCP 编排器,也可以作为 OCI Kubernetes Engine 上的容器运行。编排器托管基于 GenAI Toolbox 的服务器,该服务器监听代理请求并将其路由到工具。OCI 的可扩展性可确保编排人员能够处理多个并发欺诈调查。(可选)您可以使用 OCI API Gateway 为编排器公开安全的 REST 端点,以便外部系统或演示客户端可以启动工作流。
编排器托管与 UI 交互的所有代理,并提供到工具的路由。您还可以在使用流式 HTTP 协议公开工具的 Oracle Cloud Infrastructure Data Science 中托管 MCP 服务器。
- 代理作为无服务器函数
每个代理的逻辑可以部署为 OCI 函数(无服务器微服务)或轻量级容器。例如,数据检索代理可以是接受参数(ID、查询类型)并从 Autonomous Database 返回 JSON 数据的 OCI 函数。欺诈分析器可能是另一个获取数据并返回分数和消息的函数。为座席使用 OCI Functions 来简化部署,并提供弹性,以便在许多欺诈分析并行运行时自动横向扩展。MCP 编排程序使用 OCI API Gateway 或内部调用来调用这些函数的 REST 端点。在第 1 阶段,通过在编排程序进程中运行工具(如 GenAI Toolbox 所做的那样)来简化工具执行,以便编排程序本身可以执行数据库查询工具。但是,将代理设计为独立的 OCI 函数可提供模块化功能,并通过按顺序显示触发的每个函数来帮助演示。
- 数据存储和处理
Oracle Autonomous Transaction Processing (ATP) 是用于存储所有相关财务数据(例如事务处理日志、账户数据、策略信息和历史欺诈案例)的安全存储库。Autonomous Database 提供内置的自动缩放、加密和结构化查询语言 (SQL) 分析功能,所有这些功能对于实际的金融服务工作负载至关重要。数据代理使用 SQL 和 Oracle 客户端或 REST 数据应用编程接口 (Data Application Programming Interface,API) 从数据库检索数据。如果欺诈模型是在数据库中训练的,您还可以利用 Oracle Machine Learning 等工具进行高级评分。对于流处理事务处理数据,您可以使用 OCI Streaming 或 Oracle GoldenGate 将数据馈送到系统中。对于演示方案,简单的直接查询就足够了。
- AI 和机器学习服务
为了实施欺诈检测逻辑,OCI 提供多种选项。在阶段 1 中,规则或异常检测直接编码。第二阶段实施 Oracle AI 服务:
- OCI Generative AI 可访问大型语言模型,帮助欺诈分析器座席生成叙述和推理。OCI Generative AI 是一项完全托管的服务,它提供预训练的 LLM,可轻松集成到应用中。欺诈分析器可以通过使用其软件开发工具包 (SDK) 和 API 来调用此服务,其中包含交易数据的提示,并接收欺诈解释文本作为响应。
- OCI Anomaly Detection 可实时对异常事务进行评分,高分表示潜在欺诈。欺诈分析器代理首次接受历史事务处理数据的培训,只需调用异常检测 API 即可获得给定事务处理的异常评分。同样,OCI 提供数据科学和 Oracle Machine Learning 来训练自定义欺诈模型,例如梯度提升或用于欺诈的图形算法。您可以使用数据科学模型部署将模型(例如用于欺诈的 XGBoost 模型)部署为端点,以便代理可以调用这些模型。为了简化演示,您可以绕过复杂的模型,并直接使用小规则集或合成评分功能。该架构支持以后在复杂的机器学习模型中进行交换,而无需更改编排。
- Oracle Cloud Infrastructure Language 提供了文本分析功能,适用于您还需要在欺诈案例中分析非结构化备注或通信。但是,对于我们的主要用例,结构化数据和 LLM 提供了所需的功能。
- 网络和集成
虚拟云网络 (Virtual Cloud Network,VCN) 配置和 OCI 服务网关可确保使用 OCI Functions 和 OCI Compute 实例的编排人员和代理可以安全地与数据库和 AI 服务通信,而无需通过公共互联网公开数据。OCI Identity and Access Management (IAM) 可控制访问,以便只有编排程序和代理才能调用彼此的 API 并访问数据库。这在维护安全方面非常重要,特别是在财务方面。出于演示目的,您还可以使用 OCI Logging 来跟踪代理函数执行和 OCI Application Performance Monitoring 跟踪来设置监视,以显示端到端流延迟。
- 客户端接口
用户使用简单的 Web 或移动前端调用 OCI API Gateway 来触发分析,或使用 Oracle Digital Assistant (聊天机器人)界面来与系统交互,以获得更具交互性的演示。例如,分析师可以通过提供聊天机器人提示(如“调查事务 #123”)与欺诈分析器座席进行交互,系统会对分析做出响应。Oracle Digital Assistant 可以是展示对话前端的可选补充,但核心用例可能只是通过使用 OCI Notifications 在仪表盘上显示结果或发送电子邮件警报。
阶段 1:使用 MCP 实施编排
在最初的实施中,目标是在添加复杂的 AI 逻辑之前,确保系统可以编排多个代理,并可以与 Oracle 系统集成。
为了实现这一目标,该计划强调代理编排机制,并利用 Google MCP Toolbox for Databases(也称为 Gen AI Toolbox)作为模型上下文协议 (MCP) 编排器的起点。该工具箱是基于 GitHub 的开源代码,它是用于将基于 LLM 的代理与 SQL 数据库连接起来的数据库的 MCP 服务器。此架构通过插入 Oracle 特定工具并将其部署在 OCI 上,从而适应 Oracle Cloud Infrastructure (OCI) 的工具箱。
此计划的第 1 阶段在 OCI 上创建一个工作编排主干,该主干已成功与 Oracle 数据库集成,并包含一个中央 MCP 服务器(生成式 AI 工具箱),可编排至少两个代理(数据提取和分析)。该计划的第 2 阶段引入了更高级的推理。
- 工具定义
在生成式 AI 工具箱中,工具是代理可以执行的操作,例如执行特定的 SQL 查询。以声明方式定义工具,例如使用 YAML,并通过 MCP 服务器进行访问。当前用例为“为用户提取最近的事务处理”或“获取策略详细信息”等操作创建类似的工具注册表,每个操作都映射到 Oracle 数据库查询或 OCI 函数调用。注册表允许代理按名称调用这些工具。配置驱动的方法的好处是灵活性:您可以更新或添加新工具,而无需重新部署整个应用程序。出于演示目的,第 1 阶段的编排可以编写更多的脚本,并按顺序调用工具,但该体系结构为第 2 阶段奠定了基础,在此阶段中,代理可以动态决定要使用哪些工具。
- 编排器框架
生成式 AI 工具箱可与代理编排框架(如 LangChain/Langraph 和 LlamaIndex AgentWorkflow)配合使用。在此实施中,MCP 服务器协调代理调用的顺序。您可以使用简单的工作流(例如调用数据代理、调用欺诈代理,然后提供决策)编写编排脚本。您可以通过自定义代码或使用现有工作流库执行此操作。利用任何生成式 AI 工具箱客户端库或模式来维护上下文非常有用。编排人员使用数据代理的结果作为欺诈代理的提示/输入结构的输入。阶段 1 可确保工作流正常运行,并在各个步骤之间准确地保留上下文。其结果是一个编排层,可简化一个或多个代理的系统运行,在各个步骤中维护上下文,并支持多代理工作流(如 AgentWorkflow 中所述),但在这种情况下使用 OCI 服务实施。
- 可观测性和日志记录
Gen AI Toolbox 提供集成的 OpenTelemetry 支持来监视工具使用情况。OCI Logging 提供每个代理和工具调用的日志记录,以帮助进行调试,并为演示期间每个代理执行的操作提供可见性。阶段 1 可以使用 OCI 控制台或日志来显示编排器如何调用函数来查询数据库、返回的内容,以及如何执行欺诈分析。这种透明度吸引了利益相关者,并有助于建立对人工智能决策的信任。
阶段 2:实施增强的 LLM 智能
该计划的第二阶段集成了高级大语言模型 (LLM) 推理和其他代理,使系统更加自主和富有洞察力。
基础架构与第 1 阶段基本相同,但您只需替换或扩充代理的内部并添加新的代理。MCP 服务器仍然是集成胶水,在 LLM 代理与 OCI 数据库、函数等之间进行中介。此分阶段方法通过先使用简单的逻辑演示 OCI 中的主干,然后插入功能强大的 LLM,使系统在解释和处理欺诈案例时更加智能,从而显示出渐进式进展。
- LLM 驱动的代理推理
阶段 2 中的欺诈分析器代理不按固定顺序执行操作,而是使用 OCI Generative AI 和 LLM 动态决定要调用哪些工具以及何时调用。例如,给定一个开放式的指令(“调查欺诈索赔”),代理的提示可以列举可用的工具(数据库查询,制裁检查等),LLM 可以计划一系列呼叫。这类似于 ReAct 样式的代理,或者使用 LangChain 的规划能力。MCP 编排器可促进这些代理到工具的交互,通过工具执行循环 LLM 决策并返回结果。Oracle Cloud Infrastructure Generative AI Agents 服务强调使用工具编排来处理复杂的工作流。在当前架构中,我们将生成式 AI 工具箱方法与 OCI 的 LLM 相结合,实现这一概念。您可以合并 LangChain 等框架(在 Oracle Cloud Infrastructure Data Science 中支持),以帮助管理提示(例如“Tool:GetRecentTransactions(user_id=123)”),并分析编排程序可以执行的 LLM 输出。这种能力使欺诈分析仪成为能够进行多步骤推理的更认知代理,从而实现更复杂的欺诈调查对话。
- 其他代理和工具
您可以引入其他代理来扩展系统的功能。例如,图形分析代理可以使用网络分析(例如图形数据库或机器学习模型)来查找实体之间的关系,例如欺诈环使用的账户中的常见电子邮件或设备。另一个可能是一个解释代理,专门检查输出是否符合要求,或简化面向客户的解释的语言。每个代理都使用特定的 OCI 服务:图形代理可能使用 Oracle Graph 或 Data Science 中的网络分析库。MCP 编排程序可以根据需要并行或顺序协调这些代理。例如,在欺诈分析器代理得出结论后,编排程序可能会触发使用 OCI Email Delivery 或 OCI Notifications 向调查人员发送报告的通知代理。编排器充当导体:添加更多代理可以丰富分析管弦,而无需重写核心逻辑。
- 机器学习反馈循环
阶段 2 可以随着时间的推移纳入学习。所有结果(无论是否确认欺诈)都可以输入到 Oracle Autonomous Data Warehouse 中,并使用 Data Science 管道重新训练模型。虽然它不是实时座席编排的一部分,但它会关闭解决方案生命周期中的循环。通过将历史数据与 AutoML 或 Oracle Machine Learning 结合使用,OCI 不仅可以执行检测,还可以对其进行改进,从而向利益相关方展示持续改进。