Oracle IntegrationとOCI Generative AIを使用したローコード・モジュラLLMアプリケーション・エンジンの有効化

Oracle IntegrationおよびOCI Generative AIを使用したロー・コード・モジュラLLMアプリケーション・エンジンの有効化

Oracle Integrationは、アプリケーション、ビジネス・プロセス、API、データを迅速に最新化するための、エンタープライズ接続、拡張および自動化機能のためのローコードまたはノーコードのアプローチを可能にするフルマネージド・サービスです。Oracle Integrationは、視覚的な開発エクスペリエンス、事前構築済の統合、および組み込みのベスト・プラクティスにより、API、アプリケーション、システムなどをオーケストレーションし、AIを利用した人間ベースのカスタム・アプリケーションとビジネス・フローを実現できます。

Oracle Cloud Infrastructure Generative AI(OCI Generative AI)は、テキスト生成、要約、埋込みおよびチャット完了のための幅広いユースケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージド・サービスです。プレイグラウンド(コンソールのインタフェース)を使用すると、1行のコードを記述せずにホストされた事前トレーニング済モデルおよびカスタム・モデルを検索したり、専用のAIクラスタ上の独自のデータに基づいて独自の微調整済カスタム・モデルを作成してホストできます。

Oracle IntegrationおよびOCI Generative AIサービスを、Oracle Cloud Infrastructure Streaming (OCI Streaming、Oracle Managed Kafka Service)、OCI Document Understanding (Optical Character Recognition (OCR)、テキスト抽出、キー値抽出、ドキュメントの表抽出および分類のためのREST APIコールを使用して実現可能なサーバーレス・サービス)、Oracle Cloud Infrastructure Language (テキスト・センチメント分析、名前付きエンティティ認識のためのREST APIコールを使用して実現可能なサーバーレス・サービス)分類など)、 OCI Vision (オブジェクト検出およびイメージ分類のためのREST APIコールを使用してアクセスできるサーバーレス・サービス)、 Oracle Cloud Infrastructure Data Science (データ・サイエンス・チームが構築、トレーニング、トレーニングに使用できるフルマネージドのサーバーレス・プラットフォーム)Oracle Integrationのネイティブ・アダプタとビジュアル開発アプローチを使用して機械学習(MLモデル)などを管理することで、モジュール化、拡張性、メンテナンス性、およびセキュリティ保護されたカスタムLLMベースのアプリケーションを使用可能にできます。

アーキテクチャ

このリファレンス・アーキテクチャでは、次のものを使用して、AIベース、モジュラーおよびイベント駆動のLLMアプリケーション・エンジンを有効にするために必要な考慮事項および推奨事項を提供します。

様々なソーシャル、生産性およびビジネス・データ・チャネル用のOracle Integrationビジュアル・オーケストレーション・ツールおよびネイティブ・アダプタを使用したLLMアプリケーションのデータ・ローダーおよび問合せエンジン・フローのローコードまたはノーコードのアプローチ(ユーザーがドキュメント、イメージ、ビジネス・データまたは問合せのいずれかでLLMアプリケーション・エンジンに入力)ソース(LLMアプリケーション・エンジンで使用されるデータのソース)、およびLLMアプリケーション・エンジンで使用される様々なOCIサービスへのネイティブ・アダプタ(OCI Generative AI REST API、ベクター・データベースまたはストア、Oracle Cloud Infrastructure Language REST API、Oracle Cloud Infrastructure Data Scienceカスタム・モデルRESTエンドポイントなど)。これにより、LLMアプリケーション・ビジネス・フローをすばやく設定できます
OCIストリーミング・サービス(Oracle管理Kafkaサービス)およびOracle IntegrationでこのOCIサービス用のネイティブ・アダプタを使用して、LLMアプリケーション・エンジンのデータ・ローダーおよび問合せエンジン・モジュールからドキュメント、イメージおよびビジネス・データ・チャネルおよびソース、および問合せチャネルを切り離すイベント駆動パターン。これは、スケーラブルで高性能なLLMアプリケーションを有効にするのに役立ちます。
ハイブリッドおよびマルチクラウドの統合アーキテクチャのキー・イネーブラであるOracle Integration Connectivity Agentを使用した、サードパーティ・クラウド、オンプレミス・アプリケーション、システムなどへのプライベート接続。特に、ドキュメント、イメージ、ビジネス・データ、ユーザーからの問合せがこれらのシステムから取得でき、ドキュメントおよびデータの転送をプライベートで保護したい場合のLLMアプリケーション。これは、エンドツーエンドのLLMフローのセキュリティーを向上させ、トラフィックをプライベートネットワーク内に保持するのに役立ちます。
LLMアプリケーションでネイティブLLMモデルまたはファインチューニング・カスタムLLMモデルをOCIのサービスとして使用する可能性(Oracle Integrationクラウド・ネイティブ・アダプタを使用したOCI生成AIモデル・エンドポイントまたはOCIデータ・サイエンス・モデル・エンドポイントのオーケストレーション)。
LLM APPエンジンを使用してLLMアプリケーション用の独自のユーザー・インタフェース(UI)を接続または切断する柔軟なアプローチ、またはOracle Integrationの下のVisual APP BuilderまたはOracle APEXを使用してUIを構築するローコード・アプローチ。

次の図は、このリファレンスアーキテクチャを示しています。

図oci-lowcode-ai-arch.pngの説明

oci-lowcode-ai-arch-oracle.zip

ローコードLLMアプリケーション・エンジンは、2つのメイン・ブロックで構成されます。

ドキュメント、イメージおよびビジネス・データ・ローダー

図oci-generative-ai-llm-data-loader-arch.pngの説明

oci-generative-ai-llm-data-loader-arch-oracle.zip

このブロックは、ソーシャル/生産性チャネル(Whatsapp、Outlook、Gmail、Twitterなど)、ビジネス・データ・チャネル(サード・パーティのオンプレミスまたはクラウドWebアプリケーション、コンテンツ管理システム、Microsoft Azure Cloud Storageなどのサード・パーティのクラウド・ストレージ、AWS S3、Googleなど)を介してユーザーが追加した入力ドキュメント、イメージまたはビジネス・データを最初に受信しますクラウド・ストレージ、FTP、ファイル・サーバー、ERP、CX、HCM - オンプレミスまたはSaaSアプリケーションなど)、カスタム・ナレッジ検索エンジンUI(たとえば、Oracle Integrationの下のVisual BuilderやOracle Databaseの下のOracle APEXなどのローコード・ビジュアル・アプリケーション・ツールを使用して構築されたカスタムUI)、またはOracle Integration Visual Orchestration Flowsとネイティブ・アダプタを使用してOCI Object Storageバケットに直接接続します。
ドキュメント、イメージまたはビジネス・データは、入力のタイプに応じて抽出されます。たとえば、イメージ・オブジェクト、テキスト検出では、ドキュメント分類にOCI AI Visionサービスを使用できます。抽出では、OCI AI Document Understandingサービス、特定のタイプのイメージ、OCI Functionsを使用する優先プログラミング言語でサーバーレス関数を使用できるドキュメントなどを使用できます。
ドキュメント、イメージまたはビジネス・データは、次のいずれかで処理できます。
- OCI AI言語サービス(エンティティ、キーワード抽出、キーフレーズ抽出、センチメント分析、個人識別可能情報/PII検出および難読化など)を使用してメタデータを抽出し、関連するコンテキストをさらに取得します(たとえば、取得拡張生成(RAG)を有効にするなど)。
- OCI生成AIサービスを使用してLLMモデルにデータを埋め込み、さらに関連性の高いコンテキスト取得(たとえば、取得拡張生成(RAG)を有効にするなど)を行います。
- さらに関連性の高いコンテキスト取得のためのOCI生成AIサービスを使用したLLMモデルによるデータの集計(たとえば、構造化階層検索とも呼ばれる複数のドキュメントの検索に対してサマリー索引を有効にする場合など)。
- 構造化データ(Oracle Database、Oracle Database Cloud Service、Autonomous Database、MySQL、PostgreSQLなど)をさらに検索するためのリレーショナル・ストアへのデータの格納。
- 非構造化データ(たとえば、ベクトル、サマリー、OCI AIベクター検索を使用したキーワード索引、OpenSearchを使用したOCI検索サービス、Qdrantなど)をさらに検索するためのベクトル・ストア内のデータの索引付け。
  ノート: 新しいAIベクトル類似性検索機能は、Oracle Database 23.4cで使用できます。

問合せエンジン

図oci-generative-ai-llm-query-engine-arch.pngの説明

oci-generative-ai-llm-query-engine-arch-oracle.zip

このブロックは、最初にソーシャル、生産性チャネル(Whatsapp、Outlook、Gmailなど)、ビジネス・データ・チャネル(サード・パーティのオンプレミス/クラウドWebアプリケーションなど)を介してユーザーから入力問合せを受信します。など)またはカスタムのナレッジ検索エンジンUIから(たとえば、Oracle Integrationの下のVisual BuilderやOracle Databaseの下のOracle APEXなどのローコード・ビジュアル・アプリケーション・ツールを使用して構築されたカスタムUIなど)、Oracle Integration Visual Orchestration Flowおよびネイティブ・アダプタを使用します。
問合せは、Oracle Integrationを使用して問合せパイプラインに入り、次のいずれかの方法で処理できます。
- プロンプト・インジェクションを回避するために、OCI生成AIサービスを使用した問合せのフィルタリング。
- 関連性の高いコンテキスト取得を実現するために、OCI Generative AIサービスを使用してクエリを書き換えるか、変換します。
- データ集計として、特定のコンテキスト取得として、データに対して問合せを実行する方法を決定するために、OCI生成AIを使用して問合せエンジン・セレクタを使用して問合せをルーティングします。
- チャット・メモリーが必要なチャット完了ユースケースの場合の、Redisを使用したOCIキャッシュを使用したチャット履歴ストアからの会話履歴の抽出。
- 関連するコンテキスト取得のユースケース(たとえば、取得拡張生成(RAG)を有効にするなど)のために、OCI生成AIサービスを使用して問合せを埋め込みます。
- OCI生成AIサービスを使用して関連コンテキスト・リクエリをルーティングし、入力クエリに応答するためにデータを取得するデータ・ソースを決定します。
- 取得拡張生成(RAG)のユースケース、リレーショナル・ストア(Oracle Database、Oracle Database Cloud Service、Autonomous Database、MySQL、PostgreSQLなど)のベクトル・ストア(OCI AI Vector Search、OpenSearchを含むOCI Search Service、Qdrantなど)から問合せに応答するための関連コンテキスト・データの取得構造化されたビジネス・データ、またはソーシャル、生産性およびビジネス・データ・ソース(Twitter、Outlook、Gmail、ERP/HCM/CX Appsなど)で検索し、ビジネス・データのオンデマンド検索を行います。これらはすべて、ネイティブ・アダプタを使用してOracle Integrationによって調整され、これらのデータ・ソースに接続します。
- 検索を最適化するために、OCI Data Scienceでデプロイおよび公開されたRe-Rankモデルを使用して取得した関連コンテキスト・データを再ランク付けします。
- 集計、生成およびチャット完了用のOCI生成AIサービス機能を使用して、問合せに対する最終的な回答を生成します。

このアーキテクチャには、次のコンポーネントがあります。

Oracle Integration
Oracle Integrationは、アプリケーション、ビジネス・プロセス、API、データを迅速に最新化するためのフルマネージド・サービスとローコードのエンタープライズ接続、拡張および自動化プラットフォームです。開発者とクラウド・アーキテクトは、視覚的な開発エクスペリエンス、事前構築済の統合、組み込みのベスト・プラクティスにより、SaaSとオンプレミス・アプリケーションを6倍高速に接続できます。Oracle Integrationにより、Oracle Cloud ERP、HCM、CXのイベントにネイティブにアクセスできます。アプリケーション固有の分析サイロを結び付けて、購買依頼から受領、採用から支払い、リードから請求書、その他の重要なプロセスを簡素化します。最後に、ITおよびビジネス・リーダーにエンドツーエンドの可視性を提供します。
OCI生成AI
Oracle Cloud Infrastructure(OCI)Generative AIは、APIを介して利用できるフルマネージド・サービスであり、これらの汎用性の高い言語モデルを、執筆支援、要約、チャットなどの幅広いユースケースにシームレスに統合します。OCI Generative AIサービスには、次の基本モデルが含まれます:
- 生成: テキストを生成したり、テキストから情報を抽出するための指示を提供します。
- 集計: 指示されたフォーマット、長さおよびトーンでテキストを集計します。
- 埋込み: セマンティック検索、テキスト分類またはテキスト・クラスタリングのためにアプリケーションで使用するテキストをベクトル埋込みに変換します。
OCI Document Understanding
OCI Document Understandingは、APIやコマンドライン・インタフェース・ツールを通じて、ドキュメント・ファイルからテキスト、表、その他の主要データを抽出できるAIサービスです。OCI Document Understandingを使用すると、事前構築されたAIモデルを使用して退屈なビジネス処理タスクを自動化し、業界固有のニーズに合わせてドキュメント抽出をカスタマイズできます。
Oracle Cloud Infrastructure Language
OCI Languageは、サーバーレスかつマルチテナントのサービスであり、REST APIコールを使用してアクセスすることができます。これにより、最良の結果が得られるように、頻繁に再トレーニングおよびモニターされる事前トレーニング済モデルが提供されます。言語には人工知能と機械学習の機能があり、非構造化テキストで言語を検出できます。また、テキストに関する詳細なインサイトを獲得するのに役立つその他のツールも用意されています。
OCI Vision
OCI Visionは、ディープラーニングベースのイメージ分析を大規模に実行するためのAIサービスです。開発者は、あらかじめ用意されているモデルを使用することで、機械学習(ML)の専門知識がなくても、アプリケーションに画像認識とテキスト認識を簡単に構築できます。業界固有のユースケースでは、開発者は独自のデータを使用してカスタムVisionモデルを自動的にトレーニングできます。これらのモデルを使用して、製造における視覚的な異常を検出したり、ビジネス・ワークフローを自動化するためにドキュメントからテキストを抽出したり、製品や出荷をカウントするためにイメージ内のアイテムにタグ付けしたりできます。開発者は、事前トレーニング済モデルにアクセスするだけでなく、データ・サイエンスの専門知識やカスタム・モデル・インフラストラクチャを管理することなく、カスタム・モデルを作成できます。
オブジェクト・ストレージ
オブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、すべてのコンテンツ・タイプの構造化データおよび非構造化データにすばやくアクセスできます。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納し、取得できます。パフォーマンスやサービスの信頼性を低下させることなく、シームレスにストレージを拡張できます。迅速、即時、頻繁にアクセスする必要のあるホット・ストレージには、標準ストレージを使用します。アーカイブ・ストレージは、長時間保持し、ほとんどまたはめったにアクセスしないコールド・ストレージに使用します。
データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、データ・サイエンス・チームがOracle Cloud Infrastructure (OCI)で機械学習(ML)モデルを作成、トレーニングおよび管理するために使用できる、完全に管理されたサーバーレス・プラットフォームです。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業の信頼できるデータを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価できます。また、MLモデルの導入が容易なデータ主導型のビジネス目標をサポートできます。
OpenSearchを使用したOCI検索サービス
OCI Search Service with OpenSearchは、Oracleマネージド・サービスとして提供されるインサイト・エンジンです。停止時間なしで、サービスのパッチ適用、更新、アップグレード、バックアップおよびサイズ変更がOracleによって自動化されます。お客様は、大量のデータをすばやく格納、検索および分析し、結果をほぼリアルタイムで確認できます。
Redisを使用したOCIキャッシュ
Oracle Cloud Infrastructure Cache with Redisは、オープン・ソースのRedisの基盤の上に構築された包括的なマネージドインメモリー・キャッシュ・ソリューションです。このフルマネージド・サービスは、データの読み取りと書き込みを高速化し、アプリケーションの応答時間とデータベースのパフォーマンスを大幅に向上させ、カスタマー・エクスペリエンスを向上させます。
APEXサービス
Oracle APEX Application Development (APEX)は、Oracle Databaseがインストールされている任意の場所にデプロイできる、スケーラブルで機能豊富なセキュアなエンタープライズ・アプリケーションを構築できるロー・コード開発プラットフォームです。高度なソリューションを提供するために、膨大な数のテクノロジーの専門家である必要はありません。APEXサービスには、ユーザー・インタフェース・テーマ、ナビゲーション・コントロール、フォーム・ハンドラ、アプリケーション開発プロセスを加速する柔軟なレポートなどの組込み機能が含まれています。
Oracle Database 23(AIベクトル検索)
Oracle Database 23cは、新しいマイクロサービス、グラフ、ドキュメント、およびリレーショナルapplications.Oracleを構築しようとしている開発者向けに、最も完全でシンプルなコンバージド・データベースを提供します。この計画は、AIベクトルを使用したセマンティック検索機能をOracle Database 23cに追加することを発表しました。AIベクトル検索と呼ばれる機能のコレクションには、新しいベクトル・データ型、ベクトル索引およびベクトル検索SQL演算子が含まれており、Oracle Databaseはドキュメント、イメージおよびその他の非構造化データのセマンティック・コンテンツをベクトルとして格納し、これらを使用して高速類似性問合せを実行できます。詳細は、「詳細」セクションのプレス・リリース・リンクを参照してください。
ストリーミング
Oracle Cloud Infrastructure Streamingは、リアルタイムで消費および処理できる連続した大容量データ・ストリームを収集するための、スケーラブルで耐久性の高いフルマネージド・ストレージ・ソリューションを提供します。ストリーミングは、アプリケーション・ログ、運用テレメトリ、Webクリック・ストリーム・データなど、大量のデータを取り込むために使用できます。また、パブリッシュ/サブスクライブのメッセージング・モデルでデータが連続して連続して処理されます。
イベント
Oracle Cloud Infrastructureサービスでは、イベント(リソースの変更を説明する構造化メッセージ)が生成されます。イベントは、作成、読取り、更新または削除(CRUD)操作、リソース・ライフサイクル状態の変更およびクラウド・リソースに影響するシステム・イベントに対して発行されます。
関数
Oracle Cloud Infrastructure Functionsは、完全に管理された、マルチテナントでスケーラビリティが高いオンデマンドのFunctions-as-a-Service (FaaS)プラットフォームです。これは、Fn Projectのオープン・ソース・エンジンによって機能します。ファンクションを使用すると、コードをデプロイし、直接コールするか、イベントに応答してトリガーできます。Oracle Functionsは、Oracle Cloud Infrastructure RegistryでホストされているDockerコンテナを使用します。
APIゲートウェイ
Oracle API Gatewayでは、ネットワーク内からアクセス可能なプライベート・エンドポイントとともに、必要に応じてパブリック・インターネットに公開できるAPIを公開できます。エンドポイントは、API検証、リクエストとレスポンス変換、CORS、認証と認可およびリクエスト制限をサポートします。
Web Application Firewall(WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF)は、ロード・バランサやWebアプリケーション・ドメイン名などの強制ポイントにアタッチされている支払カード産業(PCI)準拠のリージョンベースおよびエッジ強制サービスです。WAFは、悪意のある不要なインターネット・トラフィックからアプリケーションを保護します。WAFは、インターネット接続エンドポイントを保護することで、顧客のアプリケーションに対する一貫したルール適用を実現できます。
リージョン
Oracle Cloud Infrastructureリージョンとは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含む、ローカライズされた地理的領域です。リージョンは他のリージョンから独立しており、長距離では(複数の国または大陸にまたがる)、それらを分離できます。
仮想クラウド・ネットワーク(VCN)およびサブネット
VCNは、Oracle Cloud Infrastructureリージョンで設定する、カスタマイズ可能なソフトウェア定義のネットワークです。VCNは、従来のデータ・センター・ネットワークと同様に、ネットワーク環境の完全な制御を可能にします。VCNには重複しない複数のCIDRブロックを含めることができ、VCNの作成後にそれらを変更できます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。

レコメンデーション

次の推奨事項を開始点として使用します。お客様の要件は、ここで説明するアーキテクチャと異なる場合があります。

メンテナンスと高可用性
リファレンス・アーキテクチャでは、ほぼOracle管理のPaaSサービスのみが使用されます。このソリューションを使用してソフトウェアをインストール、パッチ適用、更新またはアップグレードする必要はありません。これは、Oracle Integration、OCI Generative AI、OCI Document Understanding、OCI Vision、Oracle Cloud Infrastructure Language、Oracle Cloud Infrastructure Data Science、OCI Object Storage、OCI Events、OCI Streaming、OCI Functions、OCI API Gateway、Oracle Cloud Infrastructure Web Application Firewallに対して有効です。

注意をリクエストできるコンポーネントは、プライベート・ネットワークに存在するOCI OpenSearchクラスタ、Autonomous Databaseなどのリソースにアクセスするためにコンピュート・インスタンスにインストールされているOracle Integration Connectivity Agentのみです。Oracle Integrationドキュメントのガイドラインに従って、Oracle Integration Connectivityエージェントを保守しやすく、可用性を高めます。
スケーラビリティとサイズ
このリファレンス・アーキテクチャは、PaaSサービスを使用し、含まれるほとんどのサービスに対してすぐに利用できるスケーラブルなサービスです。OCI OpenSearchクラスタおよびRedisを使用したOCIキャッシュ・クラスタは、自動的にスケール・アップおよびスケール・ダウンされません(手動のみ)。そのため、ユース・ケースに基づいて、ソリューションの適切なスケーリングが必要です。
接続性
OCI内のすべての接続は、プライベート・ネットワークを介して確立する必要があります。
- Oracle Integrationのプライベート・エンドポイント・オプションまたは接続エージェントを使用して、OCI Streaming、Oracle Autonomous Database、Oracle Database、Oracle Database Cloud ServiceなどのプライベートOCIサービスに接続できます。
- OCI OpenSearchクラスタ、Redisを使用したOCIキャッシュ・クラスタなどのプライベート・サービスに接続するOracle Integration接続エージェントは、これらのサービスがデプロイされているのと同じプライベート・サブネット内のOCI VMにインストールする必要があります。
- OCIストリーミングKafkaストリームまたは作成するトピックは、プライベート・エンドポイント(OCI VCNのプライベート・サブネットに関連付けられている)にデプロイされたストリーム・プールに関連付ける必要があります。OCIストリーミングのプライベートKafkaストリーム、またはOCIイベントからOCIドキュメント理解抽出結果ファイル・メタデータを受信するドキュメントやイメージ抽出結果トピック(前述のドキュメント、イメージおよびビジネス・データ・ローダーを参照)などのトピックの場合、OCIイベントを含むOCI関数を活用して、プライベート・ストリーミング・エンドポイントにメッセージを配信できます。
- サード・パーティのオンプレミス・サービスまたはクラウド・サービス(Azure SQL Databasesなど)に接続する接続エージェントは、これらの外部サービスがデプロイされているのと同じプライベート・サブネット内のVMにインストールする必要があります。
Oracle Integrationインスタンスへのアクセスの制限
Oracle Integration許可リスト(以前のホワイトリスト)を構成して、Oracle Integrationインスタンスにアクセスできるネットワークを制限します。ユーザー、特定のIPアドレスのシステム、クラスレス・ドメイン間ルーティング(CIDR)ブロックおよび指定した仮想クラウド・ネットワークのみがOracle Integrationインスタンスにアクセスできます。

このリファレンス・アーキテクチャでは、Oracle Integration許可リストはOracle Integrationインスタンスへのアクセスを制限でき、Oracle Integration接続エージェントをホストしている仮想マシンに関連付けられたOCI、Oracle SaaSアプリケーション、Oracle Cloud以外、オンプレミスWeb、Saas、クラウド・アプリケーションおよびVCN OCIDにデプロイされたクラウド・アプリケーションによって開始されたリクエストのみを許可できます。

考慮事項

このリファレンス・アーキテクチャをデプロイする場合は、次の点を考慮してください。

セキュリティ
OCI Generative AIの専用AIクラスタは、カスタムLLMモデルの微調整やカスタムLLMモデルのエンドポイントのホスティングに使用できるコンピュート・リソースです。クラスタは自分のモデル専用であり、他のテナンシのユーザーと共有されません。カスタム・モデルOCI生成AIを使用すると、独自のデータを使用してモデルを絞り込むことができます。それ以外の場合は、OCI Generative AIオンデマンド・モデル、ベクトル・ストア(OCI Vector Search、Open Searchなど)を使用して、埋込み、索引付けなどの手法を組み合せた取得拡張生成(RAG)を実装することで、独自のデータを使用できます。

Oracle Cloud Infrastructure Identity and Access Management (OCI IAM)ポリシーを使用して、クラウド・リソースにアクセスできるユーザー(Oracle Integration、OCI Language、OCI Vision、OCIジェネレーティブAIサービス、OCIストリーミング、OCIコンピュート・インスタンスなど)と実行できる操作を制御します。データベース・パスワードまたはその他のシークレットを保護するには、OCI Vaultサービスの使用を検討してください。

ドキュメントおよびイメージは、プライベートOCI Object Storageバケットに格納されます。ナレッジ検索エンジンUI内でユーザーが文書をクリックすると、短期間の一時リンクが作成されます。Oracle Cloud Infrastructure Web Application Firewall (WAF)のフィルタおよびルールを使用して、OCI API Gatewayを介して公開されるOracle Integration RESTトリガー・オーケストレーション・フローを、DDO攻撃、SQLインジェクション・スレッドなどの悪意のある攻撃から保護します。
スケーラビリティ
OCIストリーミング・ストリームまたはトピックを作成する際、管理者は使用する予定のストリームの数を指定します。ストリームは、ビジネス・ドメインごとに作成できます(たとえば、InvoiceStream、PurchaseOrderStreamなど)。管理者は、ストリームまたはトピックごとに使用する予定のパーティションも指定します。パーティションを使用すると、複数のノード間でメッセージを分割してストリーム、トピックを分散できるため、複数のコンシューマが1つのストリームからトピックを同時に読み取ることができます(この場合、Oracle Integrationでは、同じコンシューマ統合フローのクローンを複数持つことができ、それぞれがOCIストリーミング・アダプタをトリガーとして使用して、ストリームまたはトピックの異なるパーティションから読み取ることができます。

Oracle Integrationインスタンスの作成時に、管理者は、インスタンスごとに使用する予定のメッセージ・パックの数を指定します。
リソース制限
テナンシのベスト・プラクティス、サービスごとの制限およびコンパートメント割当てについて検討します。

詳細の参照

このリファレンス・アーキテクチャの機能についてさらに学習するには、次の追加リソースを参照してください。

OCI生成AI

Oracle Integration

OCI AIドキュメントの理解

ドキュメント

OCI AI言語

ドキュメント

OCI AIビジョン

ドキュメント

Oracle Cloud Infrastructure

承認

Author: Juan Carlos González Carrero

Contributors: Bob Peulen, Alexandru Negrea