使用 Oracle AI Data Platform 和 OCI Data Science 实施可扩展的机器学习工作流
该解决方案结合了两个平台的优势：
- AI 数据平台：提供集中且受监管的数据管理、大规模 Spark 处理、工作流编排和奖章数据架构。
- 数据科学：为基于笔记本和作业的机器学习开发、模型部署和模型服务提供灵活的运行时环境和基础设施，适用于生产工作负载。
该架构旨在支持集中式企业数据平台、大规模数据处理、中大规模机器学习工作负载以及数据工程师和数据科学家之间的协作。
典型使用场景包括：
- 零售预测：基于历史和新摄取的数据生成每日需求预测。
- 保险续订优化：优化保险续订价格，在满足业务约束的同时提高利润。每周生成一批新的续订优惠。
- 电信日志事件监视和偏差检测：分析大规模运营事件流，以检测数据偏差、识别异常并生成每日报告和洞察分析。
体系结构
下图说明了此参考体系结构。
插图 help-ml-workloads-architecture.png 的说明
helpp-ml-workloads-architecture-oracle.zip#GUID-73867B97-5BE4-434A-85C4-097DB840B323
该体系结构分为四个主域。
AI 数据平台 (AIDP)
AI Data Platform 负责数据摄取、转换、监管和准备。
- 数据集成：使用各种工具（例如 OCI Data Integration 和 OCI Streaming 和 Apache Kafka）从各种企业来源摄取数据
- AI Lakehouse：可扩展的动态存储
- Spark 工作流：使用铜牌架构以及铜牌、银牌和金牌层进行可扩展的数据处理和转换
- 代理流：自然语言数据交互
这些资源主要由数据工程师创建和管理。
数据科学平台
Data Science 可管理机器学习生命周期，在研发和生产阶段使用不同的资源。
研发阶段包括：
- 记事本课程：机器学习实验和模型训练
- 模型目录：模型版本控制和模型管理
- 模型部署：可伸缩模型服务的部署
生产阶段包括可重复批推断管道和生产自动化的计划任务自动化
OCI 监视
OCI Monitoring 提供跨两个平台的集中运营可见性，可用于监视数据偏差和模型偏差，实现可视化和警报。OCI Monitoring 可确保运营可靠性和生产就绪。
平台交互
数据科学平台与 AI 数据平台之间的交互主要用于以下目的：
- 数据科学平台可检索由 AI 数据平台管理的数据，以进行模型训练（历史数据）和生产自动化（需要评分的新案例）。
- 数据科学平台通过为新处理的案例添加预测分数来丰富数据。
用于培训和生产自动化的数据层可能因应用而异，具体取决于数据工程师定义的架构和架构。在许多情况下，数据来源于精心策划的银层，但它也可能来自青铜层或金层，或来自多层的组合。
同样，包含预测分数的扩充数据通常写入 Gold 层，但也可能存储在其他数据层中，具体取决于应用程序的要求和数据架构。
用于数据漂移检测的数据可能源自青铜层、银层或金层，具体取决于具体的使用案例和数据架构。
体系结构组件
- Oracle AI Data Platform
Oracle AI Data Platform 是一个统一的平台，可简化整个数据资产的数据编目、准备和分析。它将数据、AI、分析和治理整合到一个统一的用户体验中，使您能够构建安全、可扩展的 AI 应用。Oracle AI Data Platform 统一了 Autonomous AI Lakehouse 、Oracle Analytics Cloud 、 OCI Object Storage 、 OCI Generative AI 和 Fusion Data Intelligence 。
在此平台中，Oracle AI Data Platform Workbench 提供了一个专用开发环境，可用于设计、编排和部署数据管道和模型，设置 RBAC 策略，以及使用 Spark 等开源技术来准备、分析和扩充数据。
- OCI 数据集成
Oracle Cloud Infrastructure Data Integration 是一个用于设计和执行数据管道的全托管式无服务器服务。它支持将数据无缝提取、转换和加载到 OCI 目标中，例如 Autonomous AI Lakehouse 和 OCI Object Storage 。用户可以通过直观、无代码的界面构建集成流，从而自动扩展执行环境。它支持基于 Spark 的 ETL 处理，以及使用 SQL 下推来提高性能和效率的 ELT。该服务还提供用于数据准备的工具，并通过基于规则的处理来防止模式偏差。
- 数据科学
Oracle Cloud Infrastructure Data Science 是一个完全托管的无服务器平台，数据科学团队可以使用该平台在 OCI 上构建、训练和管理机器学习 (ML) 模型。它可以与其他 OCI 服务（例如 Oracle Autonomous AI Lakehouse 、Oracle Cloud Infrastructure Object Storage 等）轻松集成。您可以构建和评估高质量的机器学习模型，通过使企业可信的数据快速工作来提高业务灵活性，并且可以通过更轻松地部署机器学习模型来支持数据驱动的业务目标。
- OCI 身份和访问管理
Oracle Cloud Infrastructure Identity and Access Management (IAM) 为 OCI 和 Oracle Cloud Applications 提供用户访问控制。通过 IAM API 和用户界面，您可以管理身份域及其中的资源。每个 OCI IAM 身份域都代表一个独立的身份和访问管理解决方案或不同的用户群体。
- OCI 监视
Oracle Cloud Infrastructure Monitoring 主动和被动地监视您的云资源，并使用预警在指标满足指定触发器时通知您。
- OCI 对象存储
OCI Object Storage 可访问任意内容类型的大量结构化和非结构化数据，包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全地直接从应用或云平台内存储数据。您可以扩展存储，而不会出现性能或服务可靠性下降的情况。
将标准存储用于您需要快速、立即和频繁访问的“热”存储。将归档存储用于长期保留且很少或很少访问的“冷”存储。
- OCI 地区
OCI 区域是一个本地化的地理区域，其中包含一个或多个托管可用性域的数据中心。区域独立于其他区域，并且很远的距离可以将它们分开（跨越国家甚至大洲）。
- 服务网关
通过服务网关，您可以从 VCN 访问其他服务，例如 Oracle Cloud Infrastructure Object Storage 。从 VCN 到 Oracle 服务的流量将通过 Oracle 网络结构传输，不会通过互联网。
- OCI 流处理
Oracle Cloud Infrastructure Streaming 提供了一个完全托管、可扩展且持久性的存储解决方案，可以摄取连续的大量数据流以供您实时访问和处理。您可以使用 OCI Streaming 摄取大量数据，例如应用日志、运营遥测、Web 点击流量数据；或者在发布 - 订阅信息传递模型中连续生成和处理数据的其它用例。
- OCI 虚拟云网络和子网
虚拟云网络 (VCN) 是您可以在 OCI 区域中设置的可定制软件定义网络。与传统数据中心网络一样，VCN 允许您控制网络环境。一个 VCN 可以具有多个不重叠的无类域间路由 (classless inter-domain routing，CIDR) 块，在创建 VCN 后可以更改这些块。您可以将 VCN 细分为多个子网，这些子网可以限定为某个区域或某个可用性域。每个子网由一系列不与 VCN 中的其他子网重叠的连续地址组成。您可以在创建子网后更改子网的大小。子网可以是公共子网，也可以是专用子网。
建议
您的要求可能有所不同。
- 使用数据科学作业和调度自动执行可重复的推断管道。
- 使用数据科学部署和服务工具来支持扩展、操作监视和可重现性。
- 监视生产机器学习负载，以实现运行状况、数据偏差和模型偏差。
- 在数据工程和数据科学团队之间建立明确的运营所有权。
注意
- 跨两个平台实施 OCI Identity and Access Management 和基于角色的访问控制 (role-based access control，RBAC) 策略。
- 监视生产负载，确定运行状况、数据偏差和模型偏差。
- 使用可扩展的受监管存储进行长期数据保留和分析。