了解流处理欺诈检测
在此解决方案手册中,您将了解如何使用 NVIDIA Morpheus 网络安全框架使用 GPU 加速的 Morpheus 管道部署实时 AI 驱动的欺诈检测,并使用 Compute Cloud@Customer 发布结果。该解决方案支持即时欺诈检测,无需等待批处理作业,并通过在边缘本地处理数据来确保数据安全。
使用须知
- 操作系统:Ubuntu 24.04 LTS
- 平台:在单节点 Oracle Compute Cloud@Customer 实例上运行 NVIDIA AI Enterprise ,该实例配备了 NVIDIA L40S GPU。
开始之前,请确保主机上安装了以下工具:
- Docker 和 Docker 编写 (
docker compose V2
) - Git 和 Git LFS (
git-lfs
) - Python 3 和
Pip
工作流
该工作流利用 NVIDIA Morpheus 网络安全框架对财务交易数据流执行 GPU 加速推断。
下图显示了通过三个泳道(主机环境、Apache Kafka 和 Morpheus 管道)执行的工作流:
管道通过 Apache Kafka 摄取实时事务处理数据,使用预先训练的 Graph Sample and Aggregate (GraphSAGE ) 模型执行基于图形的上下文分析,并使用 XGBoost 执行最终欺诈分类。使用 NVIDIA RAPIDS 库(cuDF、cuML)加速所有阶段,从而优化整个工作流 GPU 以实现高吞吐量。下面是流程的流动方式:
Transaction data (.csv)
由 Python 生成器生成。- 数据进入 Kafka 主题
INPUT
流。 - 通过 Morpheus 管道处理数据的方式有:从 Kafka 源读取数据、反序列化、构建图形、与 Graph Neural Network (GNN) 接口 (
GraphSAGE
) 互连、使用XGBoost
进行分类、对结果进行序列化以及写入 Kafka 汇。 - 结果将发送到 Kafka 主题
OUTPUT
流。 - Python 使用者接收输出并提供实时欺诈预测。
模型溯源
该体系结构核心的推断管道使用两个预训练的机器学习模型:GraphSAGE GNN 和 XGBoost 分类器。这些模型是使用单独的训练管道生成的,该管道包含在 Morpheus 存储库中以供参考。
- 培训脚本位置:
examples/gnn_fraud_detection_pipeline/training.py
。 - 流程:脚本处理有标签的历史数据集,以基于图形的功能训练 GNN,并在生成的嵌入上训练
XGBoost
模型。
在此解决方案中,您不必运行训练脚本,因为已经提供了预先训练的模型。专注于部署和运行实时推断管道。
此体系结构支持以下组件:
- Oracle Compute Cloud@Customer
Oracle Compute Cloud@Customer 是完全托管的机架级基础设施,支持您随时随地使用 OCI Compute 。在 Compute Cloud@Customer 上运行 OCI Compute 和 GPU 配置以及存储和网络服务,从而在您的数据中心获得云自动化和经济效益。您可以在您的数据中心内运行应用并利用 GenAI 在云基础设施上的强大功能,同时帮助解决与本地资源的数据驻留、安全性和低延迟连接以及实时运营问题。
- RAPIDS cuDF/cuML
RAPIDS cuDF/cuML 是一套用于 Morpheus 管道中高性能数据处理和机器学习实用程序的 GPU 加速库。
- Docker + Conda
Docker + Conda 提供了一种分层的相关性管理方法,使用 Docker 进行操作系统级隔离,使用 Conda 管理容器内的复杂 Python 环境。
生产注意事项
在生产环境中实施此解决方案时,请考虑 Kubernetes 可以提供的可扩展性和弹性。您可以通过以下方式将此解决方案迁移到 OCI Kubernetes Engine ( OKE ):
- 容器化生产者和使用者辅助脚本。
- 使用生产级 Kubernetes 运算符部署 Kafka 。
- 将 Morpheus 管道部署为 Kubernetes 作业或部署。
关于必需的服务和角色
此解决方案需要以下服务和角色:
- Oracle Compute Cloud@Customer
- NVIDIA AI 企业版 6.0
-
Ubuntu Linux(或兼容的 Linux 发行版)
- Docker
- NVIDIA Morpheus 25.02
这些是每项服务所需的角色。
服务名称:角色 | 必需 ... |
---|---|
Oracle Compute Cloud@Customer :administrator |
配置和部署 NVIDIA AI Enterprise 虚拟机实例,管理网络资源,并确保访问 NVIDIA L40S GPU。 |
Ubuntu Linux:root 或具有 sudo 特权的用户
|
安装先决条件软件(Docker 、Git)、管理系统服务以及执行 Docker 命令。 |
NVIDIA AI Enterprise :账户用户 | 从 NVIDIA GPU 云 ( NGC ) 目录中提取所需的 NVIDIA Morpheus 容器映像。 |
观看 Oracle 产品、解决方案和服务,了解您的需求。