エンタープライズAIモデルおよびサービス用のAPI管理プラットフォームの実装
組織がAIを実装している可能性はありますが、そうであれば、プライベートAIモデルとパブリックAIモデルの上にアプリケーションを構築する際に、企業レベルのセキュリティを実施し、プロセスを標準化するのに苦労している多くの組織の中にいる可能性があります。
AIモデルの使用は、次のようなすべての業界の組織に共通の課題をもたらす可能性があります。
- 統合の複雑さ: アプリケーションとAIモデルの間のポイントツーポイント統合を管理すると、組織がさまざまなモデルを採用したいときに複雑になることがよくあります。
- セキュリティの標準化: さまざまなAIモデルに一貫したセキュリティ対策を実施することは、大きな課題となっています。
- アクセス制御: ユーザーの役割と責任に基づいてAIモデルAPIに役割ベースのアクセス制御を適用することは、効果的に管理することが困難な場合があります。
- 収益化: モデルが外部の消費者に提供されている場合、収益化機能がないAIモデルを構築します。
- 消費とResource Management: サブスクライバに割当てを設定して、AIモデルの消費を制限します。
- スロットル: AIモデルAPIのスロットルとレート制限。
- モニタリング: AIモデルAPIの消費を視覚化する監視および追跡機能。
このアーキテクチャでは、Oracle Cloud Infrastructure API Gatewayやその他のOCIサービスの機能を活用して、AIソリューションにおけるこれらの課題に対処するためのソリューションの概要を説明します。
アーキテクチャ
このアーキテクチャでは、OCI API Gatewayをミドルウェアとして使用して、AIモデルと他のOCIサービス間のポイントツーポイント統合を管理します。このアーキテクチャは、エンタープライズレベルのセキュリティ・フローとプロセスの標準化を必要とするAIユースケースに使用します。
標準化されたセキュリティ
多くの基本的なAIモデルおよびその他のAIサービスは、OAuth 2.0、Open ID、JWTなどの異なる認証メカニズムを使用します。OCI API Gatewayは、AIモデルに対するAPI認証の標準化に役立ちます。
仮想化または抽象化レイヤー
最新のほとんどの企業組織は、特定のドメインを専門とするさまざまなプロバイダーの最新のAIモデルを活用しているため、アプリケーションから直接AIモデルを使用すると、ポイントツーポイント統合の複雑さが生じます。OCI API Gatewayは、AIモデル間で簡単に切り替えられるように、サービス仮想化レイヤーとして使用されます。
OCI API GatewayおよびOCI Vaultは、AIモデルAPI資格証明をコンシューマから抽象化でき、AIモデル資格証明はOCI Vaultに格納されます。コンシューマは、OCI API Gatewayエンドポイントにアクセスし、そのコンシューマ用に作成された機密アプリケーションから生成されたクライアント資格証明を使用します。OCI API Gatewayはクライアント資格証明に対してユーザーを認証し、認証が成功すると、OCI API GatewayはOCI VaultからモデルAPI資格証明を取得してバックエンド・モデルAPIエンドポイントを起動します。
アクセス制御とガバナンス
OCI API Gatewayは、AIモデルAPIにきめ細かいアクセス制御を適用して、コンシューマのドメイン、ロールまたは責任に基づいてAPIアクセスを付与できます。OCI API Gatewayデプロイメントでは、ドメインに基づくAPIをパッケージ化して、コンシューマが特定のデプロイメントのサブスクライブをリクエストできるようにします。OCI API Gatewayのレート制限およびスロットル機能は、AIモデルの使用状況およびパフォーマンスを制御するのに役立ちます。
原価管理
使用計画と割当を活用して、AIモデルの消費コストを効果的に制御できます。使用プランを使用すると、優先度およびビジネス価値に基づいてコンシューマに割り当てることができる様々なプラン階層を作成できます。サードパーティのAIサービスをチームで使用可能にする企業の場合、使用計画により、従業員の使用状況が管理および監視され、大きなコストが発生するのを防ぐことができます。
Redisを使用したOCIキャッシュをOCI API Gatewayと統合して、頻繁なリクエストをキャッシュし、モデルで推論リクエストをオフロードすることで、コストを削減し、AIモデルAPIのパフォーマンスを向上させることができます。
ロギングおよびモニタリング
OCI API Gatewayの即時利用可能なレポート・ダッシュボードは、企業がAIモデルの使用状況、パフォーマンスに関するインサイトを取得し、コスト削減の機会を特定するのに役立ちます。
ログをOracle Cloud Infrastructure Logging Analyticsにストリーミングして、トラブルシューティング、AIモデルの消費行動の監視、リソースの消費を監視するカスタム・レポートの生成、組織のAIポートフォリオの将来の投資に関する情報に基づいた意思決定を行うことができます。組織が微調整されたAIモデルを収益化する場合、ログを請求システムにストリーミングできます。
OCI API Gatewayは、OCI Monitoringにメトリックを発行できます。使用プラン・メトリックを使用して、最も消費している顧客および他のディメンションを監視し、デプロイメントおよびOCI API Gatewayの問題をトラブルシューティングできます。
ネットワーキング
OCI API Gatewayには、パブリック・インターネットおよびプライベート・ネットワーク接続からアクセスできます。
インターネットのユーザーおよびアプリケーションは、インターネット・ゲートウェイが接続するパブリック・サブネットのOCI API Gatewayにアクセスできます。
オンプレミスのユーザーおよびアプリケーションは、OCI FastConnectまたはVPNを介してプライベート・サブネット内のOCI API Gatewayにアクセスできます。Microsoft AzureまたはGoogle Cloud上のアプリケーションは、対応するOracle Interconnect for Microsoft AzureまたはOracle Interconnect for Google Cloudを介して、プライベート・サブネットのOCI API Gatewayにアクセスできます。
次のダイアグラムにアーキテクチャを示します。
api-gateway-ai-architecture.zip
次の図は、OCI API Gateway、AIモデルおよびその他のOracleサービスのワークフローを示しています:
ワークフローは次のようになります。
- インターネットからのAIコンシューマは、API Gatewayを介してAIサービスAPIに接続します。コンシューマには、Oracle Visual Builder、Oracle Analytics Cloud、Oracle SaaS内の埋込みVisual Builder Cloud ServiceアプリケーションなどのUIテクノロジを使用して構築されたWebアプリケーションとモバイル・アプリケーションの両方が含まれます。オンプレミスのコンシューマは、OCIとオンプレミスのデータ・センターの間に高パフォーマンスのセキュアなトンネルを確立できるため、オンプレミスのコンシューマはインターネットを使用せずにAIモデルにアクセスできます。
- OCI API Gatewayは、認証のためにOCI Identity and Access Managementと統合され、OAuth 2.0および基本認証を介して標準化されたセキュリティ強制を実現します。
- OCI Vaultは、AIモデルAPI資格証明を安全に格納し、コンシューマからバックエンドAPI資格証明を抽象化できます。
- OCI API GatewayのログをOCI Loggingにストリーミングしてログをより長く保持し、ログ分析を通じてレポートを作成してインサイトを生成します。
- OCI Cache with Redisと統合して、頻繁なリクエストをキャッシュすることで、コストを削減し、AIモデルAPIのパフォーマンスを向上させます。
- OCI Functionsは、RESTエンドポイントがないAIモデルのラッパーとして使用できます。OCI Functionsは、Python、Java、Node、Go、Ruby、C#などの様々な言語からの実装をサポートしています。
- AIサービスがRESTエンドポイントを公開する場合は、OCI API GatewayとAIサービスを直接統合します。
- Oracle Integration Cloud Serviceでは、推論出力をコンシューマに返す前に、複雑な変換を実装したり、オーケストレーション・ロジックを実装できます。
このアーキテクチャには、次のコンポーネントがあります。
- リージョン
Oracle Cloud Infrastructureリージョンとは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含む、ローカライズされた地理的領域です。リージョンは他のリージョンから独立し、長距離の場合は(複数の国または大陸にまたがって)分離できます。
- 可用性ドメイン
可用性ドメインは、リージョン内の独立したスタンドアロン・データ・センターです。各可用性ドメイン内の物理リソースは、他の可用性ドメイン内のリソースから分離されているため、フォルト・トレランスが提供されます。可用性ドメインどうしは、電力や冷却、内部可用性ドメイン・ネットワークなどのインフラを共有しません。そのため、ある可用性ドメインでの障害は、リージョン内の他の可用性ドメインには影響しません。
- フォルト・ドメイン
フォルト・ドメインは、可用性ドメイン内のハードウェアおよびインフラストラクチャのグループです。各アベイラビリティ・ドメインに3つのフォルト・ドメインがあり、電源とハードウェアは独立しています。複数のフォルト・ドメインにリソースを分散する場合、アプリケーションは、物理サーバーの障害、システム・メンテナンスおよびフォルト・ドメイン内の電源障害を許容できます。
- 仮想クラウド・ネットワーク(VCN)およびサブネット
VCNは、Oracle Cloud Infrastructureリージョンで設定する、カスタマイズ可能なソフトウェア定義のネットワークです。従来のデータ・センター・ネットワークと同様に、VCNを使用するとネットワーク環境を制御できます。VCNには重複しない複数のCIDRブロックを含めることができ、VCNの作成後にそれらを変更できます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。
- APIゲートウェイ
Oracle API Gatewayでは、ネットワーク内からアクセスでき、必要に応じてパブリック・インターネットに公開できるプライベート・エンドポイントとともにAPIを公開できます。エンドポイントは、API検証、リクエストとレスポンスの変換、CORS、認証と認可およびリクエスト制限をサポートします。
- 関数
Oracle Cloud Infrastructure Functionsは、完全に管理された、マルチテナントのスケーラビリティが高いオンデマンドのFunctions-as-a-Service (FaaS)プラットフォームです。これは、Fn Projectのオープン・ソース・エンジンによって機能します。ファンクションを使用すると、コードをデプロイし、直接コールするか、イベントに応答してトリガーできます。Oracle Functionsは、Oracle Cloud Infrastructure RegistryでホストされているDockerコンテナを使用します。
- Redisを使用したキャッシュ
Oracle Cloud Infrastructure Cache with Redisは、オープン・ソースのRedisの基盤に基づいて構築された、包括的なマネージドインメモリ・キャッシング・ソリューションです。このフルマネージド・サービスは、データの読み取りと書き込みを高速化し、アプリケーションの応答時間とデータベース・パフォーマンスを大幅に向上させ、カスタマー・エクスペリエンスを向上させます。
- 統合
Oracle Integrationは、アプリケーションの統合、プロセスの自動化、ビジネス・プロセスに対するインサイトの取得およびビジュアル・アプリケーションの作成を可能にするフルマネージド・サービスです。
- ボールト
Oracle Cloud Infrastructure Vaultでは、データを保護する暗号化キーと、クラウド内のリソースへのアクセスを保護するために使用するシークレット資格証明を集中管理できます。Vaultサービスを使用して、ボールト、キーおよびシークレットを作成および管理できます。
- ロギングLoggingは、クラウド内のリソースから次のタイプのログへのアクセスを提供する、高度にスケーラブルな完全管理型のサービスです:
- 監査ログ: 監査サービスによって発行されたイベントに関連するログ。
- サービス・ログ: APIゲートウェイ、イベント、ファンクション、ロード・バランシング、オブジェクト・ストレージ、VCNフロー・ログなどの個々のサービスによって発行されるログ。
- カスタム・ログ: カスタム・アプリケーション、他のクラウド・プロバイダまたはオンプレミス環境からの診断情報を含むログ。
- モニタリング
Oracle Cloud Infrastructure Monitoringサービスは、メトリックを使用してクラウド・リソースをアクティブおよびパッシブに監視し、リソースおよびアラームを監視して、これらのメトリックがアラーム指定のトリガーを満たしたときに通知します。
- アイデンティティおよびアクセス管理(IAM)
Oracle Cloud Infrastructure Identity and Access Management(IAM)は、Oracle Cloud Infrastructure(OCI)およびOracle Cloud Applicationsのアクセス・コントロール・プレーンです。IAM APIおよびユーザー・インタフェースを使用すると、アイデンティティ・ドメインおよびアイデンティティ・ドメイン内のリソースを管理できます。各OCI IAMアイデンティティ・ドメインは、スタンドアロンのアイデンティティおよびアクセス管理ソリューション、または異なるユーザー集団を表します。
- ポリシー
Oracle Cloud Infrastructure Identity and Access Managementポリシーでは、誰がどのリソースにどのようにアクセスできるかを指定します。アクセス権はグループ・レベルおよびコンパートメント・レベルで付与されます。つまり、特定のコンパートメント内またはテナンシへの特定のタイプのアクセス権をグループに付与するポリシーを作成できます。
- Redisを使用したキャッシュ
Oracle Cloud Infrastructure Cache with Redisは、オープン・ソースのRedisの基盤に基づいて構築された、包括的なマネージドインメモリ・キャッシング・ソリューションです。このフルマネージド・サービスは、データの読み取りと書き込みを高速化し、アプリケーションの応答時間とデータベース・パフォーマンスを大幅に向上させ、カスタマー・エクスペリエンスを向上させます。
- ビジョン
Oracle Cloud Infrastructure Visionは、ディープラーニングベースのイメージ分析を大規模に実行するためのAIサービスです。開発者は、あらかじめ組み込まれたモデルをすぐに利用できるため、機械学習(ML)の専門知識がなくても、アプリケーションに画像認識とテキスト認識を簡単に組み込むことができます。
- 生成AI
Oracle Cloud Infrastructure Generative AIは、テキスト生成、要約、セマンティック検索などの幅広いユースケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージドOCIサービスです。プレイグラウンドを使用して、すぐに使用できる事前トレーニング済モデルを試すか、専用AIクラスタ上の独自のデータに基づいて独自のファインチューニング済カスタム・モデルを作成してホストします。
- ドキュメント分析
Oracle Cloud Infrastructure Document Understandingは、ディープラーニングベースのドキュメント分析を大規模に実行するためのAIサービスです。あらかじめ用意されたモデルを使用することで、開発者は機械学習(ML)の専門知識がなくても、アプリケーションにインテリジェントなドキュメント処理を簡単に組み込むことができます。
- デジタル・アシスタント
Oracle Digital Assistantは、ユーザーのためにデジタル・アシスタントを作成してデプロイできるプラットフォームです。Oracle Digital Assistantを使用すると、テキスト、チャットおよび音声インタフェースを介して、ビジネス・アプリケーション用のAIドリブン・インタフェース(またはチャットボット)を作成できます。各デジタル・アシスタントには、ユーザーが自然言語での会話で様々なタスクを完了できるように、1つ以上の専門スキルのコレクションがあります。たとえば、個々のデジタル・アシスタントには、在庫の追跡、タイム・カードの送信、経費精算書の作成など、特定のタイプのタスクに焦点を当てたスキルがある場合があります。
- Oracle Database 23ai
Oracle Database 23aiは、AIのパワーをエンタープライズ・データとアプリケーションにもたらします。Oracle AIベクトル検索により、ミッションクリティカルなデータベースに格納されているドキュメント、イメージおよびリレーショナル・データを、その概念的なコンテンツに基づいて簡単に検索できます。
- Oracle Autonomous Database Select AIの選択
Oracle Autonomous Database Select AIを使用すると、Oracle Autonomous Databaseは、大規模言語モデル(LLM)で生成AIを使用して、ユーザーの入力をOracle SQLに変換できます。Oracle Autonomous Database Select AIは、自然言語プロンプトを処理し、プロンプトにメタデータを補足してから、SQL問合せを生成して実行します。
- Oracle HeatWave Gen AI
ベクトル・ストアを使用するOracle HeatWave Gen AIは、取得拡張生成(RAG)実装に使用して、AIモデルの精度とパフォーマンスを向上させることができます。
考慮事項
AIモデルAPI管理用のOCI APIゲートウェイを実装する場合は、次の点を考慮してください:
- セキュリティ
AIモデルでは、大量のエンタープライズ・データが使用されます。ガバナンス・チームは、マスキング、暗号化およびアクセス制御を適用することで、セキュリティ対策がデータを処理することを保証する必要があります。
- AIモデルの使用条件およびライセンス
サードパーティAIモデルには、独自のライセンスと契約条件が付属しています。AIガバナンス・チームは、OCI API Gatewayを通じてモデルを公開する際にコンプライアンスを確保するために、法的使用条件を認識する必要があります。