OCI内の生成AIおよびLLM用のセキュアでスケーラブルなセルフサービス・プラットフォームを実現

データ・サイエンティスト、開発者、ITチームは、エンタープライズレベルのガバナンスとインフラストラクチャの最適化を実現しながら、高度なAIモデルを個別に構築、テスト、導入できます。

このソリューションは、Oracle Cloud Infrastructure (OCI)上の安全なアクセス、スケーラブルなインフラストラクチャ、エンタープライズ・グレードのガバナンスを組み合わせたセルフサービス・モデルで、生成人工知能(AI)と大規模言語モデル(LLM)のイニシアチブをサポートするために必要なコア機能を提供します。

ユースケースおよびサポートされているサービス:

独自の大規模言語モデル(BYOLLM)/コード・セキュリティ検証の導入
サードパーティ・モデル(Hugging Faceなど)は、GPUアクセラレーションにより分離されたプレイグラウンド環境に導入され、セキュリティ検証が自動化されます。OCIファンクション、Oracle Identity Cloud Service (IDCS)およびOCI Identity and Access Management (IAM)ポリシーは、検査、アクセス制御およびセキュアな実行に使用されます。
データ・サイエンス・プレイグラウンド
データ・サイエンス・プレイグラウンドは、データ・サイエンスの実験用に設計された柔軟でスケーラブルな環境です。高度なGPUインフラストラクチャを搭載し、Oracle Database 23aiとのシームレスな統合と、ドキュメント管理と埋込みのための最適化されたベクトルおよびオブジェクト・ストレージを提供します。AIプロジェクトの迅速なプロトタイピングと効率的なスケーリングに最適です。
マルチモーダルAI
OCIは、テキスト、音声およびイメージの入力を統合することで、マルチモーダル・モデルをサポートしています。これらのモデルは、高パフォーマンスのGPUインスタンスでホストされます。
音声とテキスト
OCI Speechは、高精度でオーディオをテキストに変換するOracleのスピーチツーテキスト・サービスです。OCIに統合され、複数の言語、リアルタイムおよびバッチ・トランスクリプションをサポートし、スピーカーのダイアリゼーション、単語レベルの信頼度、攻撃的な言語フィルタリングなどの高度な機能を提供します。また、他のOCIサービスとシームレスに接続して、スケーラブルなリアルタイム処理を実現します。
検索拡張の生成
OCIは、Oracle Database 23aiおよびOCI Object Storageを生成AIサービスと統合することで、包括的なRetrieval-Augmented Generation (RAG)ソリューションを提供します。データはベクトル埋込みに変換され、Oracle Autonomous Databaseに格納されるため、効率的なセマンティック検索が可能になります。生成された応答は、関連する最新の情報でエンリッチされます。RAGワークフローは、OCI Connector Hubを通じて調整され、イベントドリブンな実行、自動化されたデータ取り込み、リアルタイムのスケーラビリティをサポートします。

RAGワークフローは、OCI Connector Hubを介してオーケストレーションされ、イベントドリブンな実行とデータ取り込みパイプラインとの統合をサポートします。
ベクトル・データベース
Oracle Database 23aiは、VECTORデータ型を介してネイティブ・ベクトル・データベース機能を提供し、標準SQLを使用して埋込みおよびセマンティック検索を格納できるようにします。ベクトル索引付け、ONNXベースまたは外部埋込みの生成、および類似性問合せの精度制御をサポートします。Exadata用に最適化されているため、個別のベクトル・ストアが不要になり、RAG、推奨事項、生成AIなどのユースケースが統合Oracle環境内でサポートされます。
OCI生成AIエージェント
これらのエージェントは、OCIベアメタルGPUインフラストラクチャで実行されているOCI Generative AIサービスまたはサードパーティ・モデルを利用しています。
OCI速度
高スループットとパフォーマンスを確保するために、ベア・メタル・インスタンス(A100、H200、B200、GB200など)は、大規模なモデルのトレーニングと推論の両方に使用され、迅速な実験と本番レベルのワークロードをサポートします。

アーキテクチャ

このアーキテクチャは、Oracle Cloud Infrastructure (OCI)が開発、統合およびユーザー・インタラクション全体でエンドツーエンドの生成AIワークフローをサポートする方法を示しています。

フローA: 統合

顧客アプリケーション
Oracle Integration
OCIオブジェクト・ストレージ(バケット)
OCIイベントの検出
OCIストリーミングおよびOCIコネクタ・ハブ
OCIファンクション(ロジック実行)
Oracle Process Cloud Service(GPUによる推論)
データ・レイヤー(Oracle Database 23aiおよびバケット)

フローB: ユーザー操作

エンド・ユーザー・インタフェース(Apex)
アプリケーション(OCI GenAIエージェント、OCI Speech、Oracle Digital Assistant)
Oracle Process Cloud Service(GPUによる推論)
データ・レイヤー(Oracle Database 23aiおよびバケット)

フローC: 開発とサンドボックス

外部モデル・ソース
コード・セキュリティ検証
開発とテスト
自動化パイプラインから生産まで

次の図は、このリファレンス・アーキテクチャを示しています。

ai-llm-workflow-architecture.pngの説明が続きます

図ai-llm-workflow-architecture.pngの説明

ai-llm-workflow-architecture-oracle.zip

機能ドメインごとのアーキテクチャの概要

開発およびトレーニング(セルフサービス・ワークスペース)
アーキテクチャは、LLM操作用に一元化されたコンパートメントに基づいて構成されます。
- データ・サイエンスは、モデル開発、Jupyterノートブックおよび事前構築済のMLフレームワーク用の統合ワークスペースを提供します。モデル・デプロイメントおよびジョブ実行のためのクイック・アクション・ツールが含まれています。
- モデル・デプロイメントは、モデルのテストおよびデプロイメントのために仮想マシン(VM)をホストします。ユーザーは、本番に移行する前にここでモデルを検証できます。
- プレイグラウンドはGPUアクセラレーテッド環境(Flex VMs、A10、A100、LS40)で、カスタム・モデルおよびサードパーティ・モデル(Hugging Faceなど)用に分離された高パフォーマンスのコンピュート・リソースを提供します。これは、独自のLLM(BYOLLM)ワークフローの導入の実験ゾーンとして機能します。
アプリケーションおよび関数レイヤー
- OCI Speechおよび言語APIは、トランスクリプション、NLUおよびエンティティ抽出のためのすぐに使用できるサービスを提供します。
- OCI Functionsは、AIパイプラインのリアルタイム・トランスクリプション、NLPおよびサーバーレス実行に使用されます。
- APEXのフロントエンド・ツールおよびモニタリング・ツールは、ユーザー・インタラクション、分析およびガバナンスのためのインタフェースを提供します。
- OCI GenAIエージェントとデジタル・アシスタントは、エンタープライズ・データと統合されたLLMを使用して会話型エクスペリエンスを実現します。
処理(本番レイヤー)
- OCI Kubernetes Engine (OKE)は、本番モデルおよび推論サービスのコンテナ化されたデプロイメントをサポートします。
- OCI生成AIは、OracleがホストするLLMまたはカスタムのファインチューニングLLMへのAPIベースのアクセスを提供し、セキュアでスケーラブルなエンタープライズ・ユース・ケースをサポートします。
GPUインフラストラクチャ(H100およびRDMAサポート)
- ベア・メタルGPUインスタンス(RDMAを使用するH100)は、大規模なLLMワークロードに最適で、高スループット、低レイテンシの通信によるマルチノード、分散型トレーニングおよび推論を可能にします。
- KubernetesおよびNVIDIAマルチインスタンスGPU(MIG)テクノロジ用に最適化されたこのセットアップにより、GPUオーケストレーションと動的なリソース共有が可能になり、チーム間でのGPU割当ておよびマルチユーザー・スケジューリングが可能になります。
データおよびナレッジ・レイヤー
- ベクトル検索およびセマンティック検索のサポートにより拡張されたOracle Database 23aiは、Retrieval-Augmented Generation (RAG)ワークフローの取得レイヤーとして機能します。
- OCI Object Storageバケットには、非構造化データ、埋込み、ドキュメントおよびモデル・アーティファクトが格納されます。
MLOps (本番モデル・パイプライン)
- このアーキテクチャには、プレイグラウンド環境から本番にモデルを推進するためのCI/CDパイプラインが含まれています。現在、OCI DevOpsは、OCIのネイティブでフルマネージドの継続的インテグレーションおよび継続的デリバリ(CI/CD)サービスです。これにより、組織は実験から本番への機械学習モデルの導入を自動化できます。
- Gitを使用した統合ビルド・パイプライン。
- VMまたはコンテナへの自動デプロイメント。
- OCIアーティファクト・レジストリ、OCI FunctionsおよびOCI API Gatewayとのネイティブ統合。
統合およびセキュリティ・レイヤー
- OCIオブジェクト・ストレージ・バケットは、モデル、トレーニング・データ、推論出力および埋込みの中央ストレージとして機能します。
- OCIイベント、OCIストリーミングおよびOCI Connector Hubにより、環境全体でイベントドリブンなオーケストレーションとサービス統合が可能になります。
- Oracle Identity Cloud Service、IAMポリシー、OCI Loggingおよびセキュリティ・リストは、すべてのOCIサービスで堅牢なガバナンス、認証、アクセス制御およびコンプライアンス機能を提供します。
- Oracle Integrationは、事前構築済のミドルウェア・プラットフォームであり、オンプレミス・システムとクラウド・サービス間のセキュアでシームレスな統合を可能にし、異種アプリケーション間のリアルタイムのデータ同期、APIオーケストレーションおよびプロセス自動化をサポートします。

アーキテクチャには次のコンポーネントがあります。

可用性ドメイン
可用性ドメインは、リージョン内の独立したスタンドアロン・データ・センターです。各可用性ドメイン内の物理リソースは、他の可用性ドメイン内のリソースから分離されているため、フォルト・トレランスが提供されます。可用性ドメインどうしは、電力や冷却、内部可用性ドメイン・ネットワークなどのインフラを共有しません。そのため、ある可用性ドメインでの障害が、リージョン内の他の可用性ドメインに影響することはありません。
ベア・メタル
Oracleのベア・メタル・サーバーは、専用のコンピュート・インスタンスを使用して分離、可視性および制御を提供します。サーバーは、高いコア数、大量のメモリーおよび高帯域幅を必要とするアプリケーションをサポートしています。最大192コア、2.3TBのRAM、および最大1PBのブロック・ストレージまで拡張できます。お客様は、他のパブリック・クラウドやオンプレミスのデータ・センターより、パフォーマンスが大幅に向上したOracleのベア・メタル・サーバーにクラウド環境を構築できます。
コンパートメント
コンパートメントは、OCIテナンシ内のリージョン間論理パーティションです。コンパートメントを使用して、Oracle Cloudリソースの編成、アクセス制御および使用量割当て制限を設定します。特定のコンパートメントでは、アクセスを制御するポリシーを定義し、リソースの権限を設定します。
コネクタ・ハブ
Oracle Cloud Infrastructure Connector Hubは、OCIのサービス間におけるデータ移動を調整するメッセージ・バス・プラットフォームである。コネクタを使用して、ソース・サービスからターゲット・サービスにデータを移動できます。コネクタでは、オプションで、データに対して実行するタスク(関数など)を指定して、ターゲット・サービスに配信することもできます。

OCI Connector Hubを使用して、セキュリティ情報およびイベント管理(SIEM)システム用のロギング集計フレームワークを迅速に構築できます。
動的ルーティング・ゲートウェイ(DRG)
The DRG is a virtual router that provides a path for private network traffic between VCNs in the same region, between a VCN and a network outside the region, such as a VCN in another OCI region, an on-premises network, or a network in another cloud provider.
FastConnect
Oracle Cloud Infrastructure FastConnectは、データセンターとOCI間に専用のプライベート接続を作成します。FastConnectは、インターネット・ベースの接続と比較して、より高帯域幅のオプションとより信頼性の高いネットワーキング体験を提供します。
高性能コンピューティング
ハイパフォーマンス・コンピューティングは、クラスタ・ネットワーキングを必要とするワークロード、および大規模なパラレル・ワークロード用の高速プロセッサ・コア向けに設計されています。
インターネット・ゲートウェイ
インターネット・ゲートウェイでは、VCNのパブリック・サブネットとパブリック・インターネット間のトラフィックが許可されます。
オンプレミス・ネットワーク
これは、組織で使用されるローカル・ネットワークです。
リージョン
OCIリージョンとは、可用性ドメインをホストする1つ以上のデータ・センターを含む、ローカライズされた地理的領域のことです。リージョンは他のリージョンから独立しており、長距離の場合は複数の国または大陸にまたがる領域を分離できます。
ルート表
仮想ルート表には、サブネットからVCN外部の宛先(通常はゲートウェイ経由)にトラフィックをルーティングするルールが含まれています。
セキュリティ・リスト
サブネットごとに、サブネット内外で許可されるトラフィックのソース、宛先およびタイプを指定するセキュリティ・ルールを作成できます。
サービス・ゲートウェイ
サービス・ゲートウェイは、VCNからOracle Cloud Infrastructure Object Storageなどの他のサービスへのアクセスを提供します。The traffic from the VCN to the Oracle service travels over the Oracle network fabric and does not traverse the internet.
Tenancy
テナンシは、OCIへのサインアップ時にOracleがOracle Cloud内で設定する、セキュアで分離されたパーティションです。テナンシ内のOCI上でリソースを作成、編成および管理できます。テナンシは、会社または組織と同義です。通常、会社は単一のテナンシを持ち、そのテナンシの組織構造を反映させます。通常、単一のテナンシは単一のサブスクリプションに関連付けられ、単一のサブスクリプションは通常、1つのテナンシのみを含みます。
仮想クラウド・ネットワーク(VCN)およびサブネット
VCNは、OCIリージョンで設定した、カスタマイズ可能なソフトウェア定義ネットワークです。従来のデータ・センター・ネットワークと同様に、VCNsではネットワーク環境を制御できます。VCNには、VCNの作成後に変更できる重複しない複数のクラスレス・ドメイン間ルーティング(CIDR)ブロックを複数含むことができます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。
Oracle Database 23ai
Oracle Database 23aiリリースは、AIと開発者の生産性に重点を置いています。AI Vector SearchをOracleのコンバージド・データベースに追加することで、AIをデータにもたらします。この機能を新しい統合開発パラダイムとミッションクリティカルな機能と組み合わせることで、開発者やデータ専門家は、AIでアプリケーション、アプリケーション開発、ミッションクリティカルなワークロードを強化することが簡単になります。
イベント
OCI上のサービスは、リソースの変更を説明する構造化メッセージであるイベントを発行します。イベントは、作成、読取り、更新または削除(CRUD)操作、リソース・ライフサイクル状態の変更、およびクラウド・リソースに影響するシステム・イベントに対して発行されます。
ロギング
Oracle Cloud Infrastructure Loggingは、クラウド内のリソースから次のタイプのログへのアクセスを提供する、高度にスケーラブルで完全管理型のサービスです:
- 監査ログ: OCI監査によって生成されたイベントに関連するログ。
- サービス・ログ: OCI APIゲートウェイ、OCIイベント、OCIファンクション、OCIロード・バランシング、OCIオブジェクト・ストレージおよびVCNフロー・ログなどの個々のサービスによってパブリッシュされたログ。
- カスタム・ログ: カスタム・アプリケーション、他のクラウド・プロバイダまたはオンプレミス環境からの診断情報を含むロギング。
モニタリング
Oracle Cloud Infrastructure Monitoringは、クラウド・リソースをアクティブおよびパッシブに監視し、メトリックが指定されたトリガーを満たしたときにアラームを使用して通知します。
OCIレジストリ
Oracle Cloud Infrastructure Registryは、開発から本番へのワークフローを簡略化できる、Oracle管理のサービスです。レジストリを使用すると、Dockerイメージなどの開発アーティファクトを簡単に格納、共有および管理できます。
スピーチ
Oracle Cloud Infrastructure Speechは、話し言葉の力を活用して、人間のスピーチを含むメディア・ファイルを高精度のテキスト・トランスクリプションに簡単に変換できるようにします。コンソール、REST API、CLIおよびSDKを使用してアクセスできます。
ワークフロ
Oracle Cloud Infrastructure Workflowは、開発者およびアーキテクト向けのグラフィカル・フロー・デザイナを備えたサーバーレス・ワークフロー・エンジンです。これにより、OCI FunctionsやAI/MLなどのOCIサービスの作成、実行およびオーケストレーションが加速されます。
APEXサービス
Oracle APEX Application Developmentは、Oracle Databaseがインストールされている任意の場所にデプロイできる、スケーラブルで機能が豊富なセキュアなエンタープライズ・アプリケーションを構築できるローコード開発プラットフォームです。高度なソリューションを提供するために、膨大なテクノロジーの専門家である必要はありません。APEXサービスには、ユーザー・インタフェース・テーマ、ナビゲーショナル・コントロール、フォーム・ハンドラ、フレキシブル・レポートなどの組込み機能が含まれており、アプリケーション開発プロセスを迅速化します。
APIゲートウェイ
Oracle Cloud Infrastructure API Gatewayでは、ネットワーク内からアクセス可能なプライベート・エンドポイントを含むAPIを公開でき、必要に応じてパブリック・インターネットに公開できます。エンドポイントは、API検証、リクエストとレスポンスの変換、CORS、認証と認可およびリクエスト制限をサポートします。
OCI Block Volumes
Oracle Cloud Infrastructure Block Volumesを使用すると、ストレージ、パフォーマンスおよびアプリケーションの要件を満たすように、ストレージ・ボリュームを作成、アタッチ、接続および移動したり、ボリュームのパフォーマンスを変更できます。ボリュームをインスタンスにアタッチおよび接続した後は、そのボリュームを通常のハード・ドライブのように使用できます。また、データを失わずにボリュームの切断と別のインスタンスにアタッチを行うこともできます。
コンピュート
Oracle Cloud Infrastructure Computeを使用すると、クラウド内のコンピュート・ホストをプロビジョニングおよび管理できます。CPU、メモリー、ネットワーク帯域幅およびストレージのリソース要件を満たすシェイプを使用してコンピュート・インスタンスを起動できます。コンピュート・インスタンスを作成した後は、セキュアにアクセスし、再起動してボリュームをアタッチおよびデタッチし、不要になったときにそれを終了できます。
データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、データ・サイエンス・チームがOCIで機械学習(ML)モデルを作成、トレーニングおよび管理するために使用できる、フルマネージドのサーバーレス・プラットフォームです。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業が信頼するデータを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価できます。また、MLモデルの導入が容易なデータ主導型のビジネス目標をサポートできます。データ・サイエンスにより、データ・サイエンティストと機械学習エンジニアはAnacondaリポジトリのパッケージを無料で利用できます。

データ・サイエンス・ジョブ機能により、データ・サイエンティストは、フル・マネージメント・インフラストラクチャで繰返し可能な機械学習タスクを定義して実行できます。

データ・サイエンス・モデル・デプロイメント機能を使用すると、データ・サイエンティストは、トレーニング済モデルをフルマネージドHTTPエンドポイントとしてデプロイできます。このエンドポイントは、リアルタイムで予測を提供し、インテリジェンスをプロセスやアプリケーションに注入し、ビジネスが関連するイベントが発生したときにそれに対応できるようにします。
DevOps
Oracle Cloud Infrastructure DevOps(開発者業務)は、開発者がソフトウェア開発ライフサイクルを簡素化および自動化するための完全な継続的インテグレーション/継続的デリバリ(CI/CD)プラットフォームです。OCI DevOpsを使用すると、開発者とオペレータは共同でソフトウェアを開発、構築、テストおよびデプロイできます。開発者とオペレータは、ビルド、テストおよびデプロイ・フェーズを通じたソース・コミット履歴を使用して、開発ライフサイクル全体にわたる可視性を得ます。
関数
Oracle Cloud Infrastructure Functionsは、完全に管理されたマルチテナントで、スケーラビリティに優れたオンデマンドのFunctions-as-a-Service (FaaS)プラットフォームです。これは、Fn Projectのオープン・ソース・エンジンによって機能します。OCI関数を使用すると、コードをデプロイし、直接コールするか、イベントに応答してトリガーすることができます。OCI Functionsは、Oracle Cloud Infrastructure RegistryでホストされているDockerコンテナを使用します。
アイデンティティおよびアクセス管理
Oracle Cloud Infrastructure Identity and Access Management (IAM)は、OCIおよびOracle Cloud Applicationsのユーザー・アクセス制御を提供します。IAM APIおよびユーザー・インタフェースを使用すると、アイデンティティ・ドメインとその中のリソースを管理できます。各OCI IAMアイデンティティ・ドメインは、スタンドアロンのアイデンティティおよびアクセス管理ソリューション、または別々のユーザー・移入を表します。
統合
Oracle Integrationは、クラウドとオンプレミスのアプリケーションの統合、ビジネス・プロセスの自動化、ビジュアル・アプリケーションの開発を可能にする、完全に管理された事前構成済の環境です。SFTP準拠のファイル・サーバーを使用してファイルを格納および取得し、数百のアダプタおよびレシピのポートフォリオを使用してOracleおよびサードパーティ・アプリケーションに接続することで、企業間取引パートナとドキュメントを交換できます。
Kubernetesクラスタ
Kubernetesクラスタは、コンテナ化されたアプリケーションを実行するマシンのセットです。Kubernetesは、コンテナ化されたワークロードとサービスをノード内で管理するためのポータブルで拡張可能なオープン・ソース・プラットフォームを提供します。Kubernetesクラスタは、ワーカー・ノードおよびコントロール・プレーン・ノードで構成されます。
Kubernetesコントロール・プレーン
Kubernetesコントロール・プレーンは、Kubernetesクラスタ内のワーカー・ノードおよびポッドのリソースを管理します。コントロール・プレーン・コンポーネントは、イベントを検出して応答し、スケジュールを実行し、クラスタ・リソースを移動します。
コントロール・プレーン・コンポーネントは次のとおりです。
- kube-apiserver: Kubernetes APIサーバーを実行します。
- etcd: すべてのクラスタ・データの分散キー/値ストア。
- kube-scheduler: 新しい未割当てポッドが実行されるノードを決定します。
- kube-controller-manager: コントローラ・プロセスを実行します。
- cloud-controller-manager: クラスタをクラウド固有のAPIにリンクします。
OCI Kubernetes Engine
Oracle Cloud Infrastructure Kubernetes Engine(OCI Kubernetes EngineまたはOKE)は、コンテナ化されたアプリケーションをクラウドに導入するために使用できるフルマネージドのスケーラブルな高可用性サービスです。アプリケーションに必要なコンピュート・リソースを指定し、OKEによって既存のテナンシのOCIにプロビジョニングされます。OKEは、Kubernetesを使用して、ホスト・クラスタ間のコンテナ化されたアプリケーションのデプロイメント、スケーリングおよび管理を自動化します。
Kubernetesワーカーのノード
Kubernetesワーカー・ノードは、Kubernetesクラスタ内でコンテナ化されたアプリケーションを実行するワーカー・マシンです。各クラスタには、少なくとも1つのワーカー・ノードがあります。
オブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。

迅速、即時、頻繁にアクセスする必要のあるホット・ストレージに標準ストレージを使用します。長期間保存し、ほとんどまたはめったにアクセスしないコールド・ストレージにアーカイブ・ストレージを使用します。
ストリーミング
Oracle Cloud Infrastructure Streamingは、リアルタイムでアクセスおよび処理できる大量のデータ・ストリームを収集するための、完全に管理されたスケーラブルかつ耐久性のあるストレージ・ソリューションを提供します。OCIストリーミングを使用して、アプリケーション・ログ、運用テレメトリ、Webクリック・ストリーム・データなど、大量のデータを取り込むことができます。また、パブリッシュ/サブスクライブ・メッセージング・モデルにおいてデータが連続して順に生成および処理される他のユース・ケースでも利用できます。
監査
Oracle Cloud Infrastructure Auditサービスでは、サポートされているすべてのOCIパブリック・アプリケーション・プログラミング・インタフェース(API)エンドポイントへのコールがログ・イベントとして自動的に記録されます。すべてのOCIサービスは、Oracle Cloud Infrastructure Auditによるロギングをサポートしています。
生成AI
Oracle Cloud Infrastructure Generative AIは、テキスト生成のための幅広いユース・ケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージドOCIサービスです、要約、セマンティック検索など。プレイグラウンドを使用して、すぐに使用できる事前トレーニング済モデルを試すか、専用AIクラスタ上にある独自のデータに基づいて独自のファインチューン済カスタム・モデルを作成してホストできます。
ロード・バランサー
Oracle Cloud Infrastructure Load Balancingは、単一のエントリ・ポイントから複数のサーバーへの自動トラフィック分散を提供します。
ネットワーク・アドレス転送(NAT)・ゲートウェイ
NATゲートウェイを使用すると、VCN内のプライベート・リソースは、受信インターネット接続にそれらのリソースを公開することなく、インターネット上のホストにアクセスできます。
生成AI
Oracle Cloud Infrastructure Generative AIは、テキスト生成のための幅広いユース・ケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージドOCIサービスです、要約、セマンティック検索など。プレイグラウンドを使用して、すぐに使用できる事前トレーニング済モデルを試すか、専用AIクラスタ上にある独自のデータに基づいて独自のファインチューン済カスタム・モデルを作成してホストできます。
デジタル・アシスタント
Oracle Digital Assistantは、ユーザーのためにデジタル・アシスタントを作成してデプロイできるプラットフォームである。Oracle Digital Assistantを使用すると、テキスト、チャットおよび音声インタフェースを介して、ビジネス・アプリケーション用のAI駆動型インタフェース(またはチャットボット)を作成できます。各デジタル・アシスタントには、ユーザーが自然言語での会話で様々なタスクを完了するのに役立つ、1つ以上の専門スキルが集められています。たとえば、個々のデジタル・アシスタントには、在庫の追跡、タイム・カードの送信、経費精算書の作成など、特定のタイプのタスクに焦点を当てたスキルがある場合があります。
ポリシー
Oracle Cloud Infrastructure Identity and Access Managementポリシーでは、誰がどのリソースにどのようにアクセスできるかを指定します。アクセス権はグループ・レベルおよびコンパートメント・レベルで付与されます。つまり、特定のコンパートメント内またはテナンシへの特定のタイプのアクセスをグループに許可するポリシーを記述できます。
セキュリティ・ゾーン
セキュリティ・ゾーンは、データの暗号化やネットワークへのパブリック・アクセスの防止など、コンパートメント全体にポリシーを適用することで、Oracleセキュリティの主要なベスト・プラクティスを実装します。セキュリティ・ゾーンは、同じ名前のコンパートメントに関連付けられ、コンパートメントとそのサブコンパートメントに適用されるセキュリティ・ゾーン・ポリシー(レシピ)が含まれます。セキュリティ・ゾーン・区分に標準コンパートメントを追加したり、移動することはできません。

レコメンデーション

セルフサービスLLM開発、MLOps、GPU最適化、エンタープライズグレードの統合に重点を置いて、OCI上に構築されたエンタープライズAIプラットフォームの成功、スケーラビリティ、サステナビリティを実現します。

プラットフォームおよび戦略ガバナンス
- AIが管理する部門を超えた専用のセンター・オブ・エクセレンスを作成します。
  - LLMトレーニングと導入のベストプラクティス
  - リソースの割り当てと割り当ての管理
  - セキュリティ、コンプライアンス、倫理的なAIの使用
- OCIのノルマとタグ付けポリシーを有効にして、部門とチーム間のトレーサビリティとコストの説明責任を確保することで、制御されていないリソースのスプロールを回避します。

GPUリソースの効率性とスケジューリング

NVIDIA MIGを組み合わせて、GPUの使用を最適化します。ジョブまたはユーザーごとに小数GPUを割り当てて、使用率を高め、コストを削減します。
GPU分画ソリューション:
- マルチインスタンスGPU(MIG)は、NVIDIA A100およびH100 GPUで使用可能な機能で、単一の物理GPUを複数のハードウェア分離インスタンス(またはスライス)にパーティション化できます(GPUインスタンスと呼ばれます)。
  各インスタンスは、独自の独立したGPUとして機能します。
  - 専用メモリー
  - コンピュート・ノード
  - キャッシュおよびメモリー帯域幅
  これにより、チームは、予測可能なパフォーマンスとハードウェアレベルの分離により、単一のGPUで複数のAIワークロードを同時に実行できます。
  
  OCI Kubernetes Engine (OKE)は、MIG対応スケジューリングをサポートするように構成されており、次のことが可能です:
  - 特定のMIGインスタンスをリクエストする各ポッド(たとえば、A100の1/7)。
  - リクエストに基づいて使用可能なGPUスライスをインテリジェントに割り当てるKubernetesスケジューラ。
  - NVIDIAデバイス・プラグインおよびノード機能検出を介して公開されるMIGインスタンスにより、OKEによって検出およびスケジュール可能であることが保証されます。
  - MIG対応GPU (A100やH100など)は、OCIベア・メタル・インスタンスまたはOKEワーカー・ノードとしてデプロイされます。
  - OKEは、MIG対応のスケジューリングにより、コンテナ化されたAIワークロードを処理します。

MIGプロファイル	スライス分数	専用メモリー	次に適しています...
1g.5gb	1/7	5GB	軽量推論、テスト
2g.10gb	2/7	10GB	小さいモデルの微調整
3g.20gb	3/7	20GB	中型モデル
7g.40gb	フルGPU	40GB	本格的なトレーニング

OCIモニタリングを使用して、高需要フェーズ(モデル・トレーニング・スプリントなど)のボトルネックを回避します。

モデルのライフサイクルと自動化
- GitおよびContainer Registryと統合されたOCI DevOpsパイプラインを介してモデルをデプロイしてCI/CDを標準化し、次のことを自動化します:
  - モデル・パッケージ
  - テストと検証
  - OKEまたはファンクションへのデプロイメント
- モデル動作の低下を回避するために、A/Bテスト、カナリア・デプロイメントおよびロールバック・ロジックを組み込むことで、ロールバックおよび検証ステップを含めます。
データ・アーキテクチャ
- Oracle Database 23aiをデプロイして、埋込みを格納し、Oracle AI Vector Searchを介したセマンティック検索を有効にします。これを次と組み合せます。
  - OCIオブジェクト・ストレージ(ドキュメント)
  - 取得オーケストレーション用のOCI関数
- ソース・ドキュメントが変更されたときに定期的に埋込みを再計算および更新し、RAG出力の正確性を確保することで、ベクトルの最新性を維持します。
セキュリティ、コンプライアンスおよび可観測性
- OCI IAMポリシー、コンパートメントおよびグループを使用して、IAMベースのセグメンテーションを実施し、開発環境、テスト環境および本番環境間の明確な境界を定義します。
- すべてのクリティカル・コンポーネント(OKE、ファンクション、ストレージ、GPUノード)のOCIロギング、OCIモニタリングおよびOCI監査ログを有効にして、すべてのクリティカル・アクションを記録および監査します。
マルチクラウドとハイブリッド統合
- OCI FastConnect、サービス・ゲートウェイおよびプライベート・エンドポイントを使用して、オンプレミスおよびサードパーティのAIサービス(Azure OpenAI、AWS Bedrockなど)との高速で安全な統合を保証します。
- 機密性の高いワークロードに対するパブリック・インターネット・エクスポージャを回避します。可能な場合は、プライベート・サブネット、NATゲートウェイおよびサービス間認証を使用します。
開発者のためのセルフサービス・エンバンブルメント
- 一連のOCI関数、OCI DevOpsパイプラインおよびノートブック・テンプレートを提供することで、厳選された初期テンプレートおよびAPIを提供し、新しいユーザーをセルフサービス環境に迅速かつ安全にオンボーディングします。
- 責任あるモデル開発のためのポリシー、割当て制限および共有ベスト・プラクティスを通じて制御を維持しながら、ユーザーを強化することで、自律性を安全策とバランスをとります。

考慮事項

このリファレンス・アーキテクチャをデプロイする場合は、次の点を考慮してください。

パフォーマンス
- トレーニング、推論、大規模な分散AIなど、特定のワークロード要件に合せた高パフォーマンスのGPUインスタンス(A100、H100、H200、B200、GB200など)をデプロイします。
- RDMA対応GPUクラスタを活用して、高帯域幅で低レイテンシの分散ワークロードを実現します。
- リソース使用率を継続的に監視して、競合を事前に軽減します。
セキュリティ
- 異なる運用環境を分離するために、コンパートメント化とプライベート・サブネットを実装します。
- OCI IAMとIDCSを使用して、厳格なアクセス制御を実施します。
- 重要なすべての操作について、包括的なロギングおよび監査証跡を維持します。
可用性
- フォルト・トレランスを確保するために、複数のフォルト・ドメインにクリティカル・リソースを分散します。
- OCI Kubernetes Engine(OKE)と自動スケーリングを利用して、弾力性を維持します。
- バックアップ、リカバリおよびデータ・レプリケーション戦略を検証して、ビジネス継続性の目標を達成します。
コスト
- NVIDIA MIGの小数化により、GPU使用率の効率を最大化します。
- OCI Object Storageのライフサイクル・ポリシーを活用して、階層化されたストレージ戦略を実装します。
- プロジェクト・レベルのタグ付けと予算割当てを使用して、財務的な説明責任を維持します。
統合とデプロイメント
- OCI DevOpsを使用してCI/CDワークフローを標準化し、モデルのライフ・サイクルを合理化および自動化します。
- セキュアなデータ・フローのためにOCI FastConnectと動的ルーティング・ゲートウェイ(DRG)を使用して、一貫したマルチクラウド統合プラクティスを実現します。
データの管理
- 正確な取得のために、Oracle Database 23aiでセマンティック埋込みを定期的に管理およびリフレッシュします。
- データ使用パターン(標準とアーカイブ)でストレージを適切に分類します。
ユーザーの採用および管理
- 構造化されたオンボーディング・リソースを提供して、セルフサービス導入を加速します。
- セルフサービス環境を継続的に評価し、ポリシーを調整して、ユーザーの自由と運用ガバナンスのバランスをとります。

詳細の参照

OCIが拡張性、安全性、エンタープライズ対応の生成AIソリューションをどのように強化するかをご覧ください。

次の追加のリソースを確認します。

人工知能:
- 生成AIエージェント
- Oracle Cloud Infrastructureドキュメンテーションの生成AIエージェント
- AIソリューション・ハブ
- Oracle Digital Assistantを使用したマルチAIエージェント(ビデオ)
- 検索拡張生成(RAG)とは
- マルチクラウド生成AI検索拡張生成(RAG)の導入
- NVIDIA MIGユーザーガイド
Oracle Cloud Infrastructure:
- Oracle Cloud Infrastructureドキュメンテーション
- OCI音声
- OCI OKE RDMA(GitHub)
- Oracle Cloud Infrastructure用のWell-architectedフレームワーク
- Oracle Cloudコスト見積り機能
- Oracle Cloud InfrastructureドキュメンテーションのFastConnectの概要
- Oracle Cloud Infrastructureドキュメンテーションのネットワーキングの概要
- Oracle Cloud Infrastructureドキュメンテーションのセキュリティの概要
- Oracle Cloud Infrastructureドキュメンテーションのオブジェクト・ストレージの概要
- Oracle Cloud InfrastructureドキュメントのGPUシェイプ
- クラウド導入フレームワーク
- マルチクラウドのインバウンドおよびアウトバウンド・プライベート・ネットワーク接続をデプロイします
Oracle Integration:

確認

作成者: Diego Mariano, Diogo Santiago
コントリビュータ: Douglas Silva, John Sulyok