Oracle Cloud InfrastructureでLlama 2モデルを使用して生成AIアプリケーションを構築

Oracle Cloud Infrastructure Generative AI(OCIジェネレーティブAI)は、テキスト生成のための幅広いユースケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージド・サービスです。

Meta Llama 2は、Oracle Cloud Infrastructure (OCI)で70Bパラメータを持つフルマネージドの事前トレーニング済基礎モデル(meta.llama-2-70b-chat)として提供されるオープンソースの大規模な言語モデルです。ユーザー・プロンプトおよびレスポンスは、実行ごとに最大4096個のトークンを含めることができます。OCIで専用のAIクラスタを取得することで、生成AIアプリケーションを迅速に構築し、Llama 2モデルをホストできます。

アーキテクチャ

Llama 2は、基礎となるインフラストラクチャを気にすることなく、事前トレーニング済の基礎モデルとして使用できます。結果に満足するまで、プロンプトを実行し、パラメータを調整し、プロンプトを更新して、モデルを再実行します。次に、コンソールからコードを取得し、アプリケーションにコードをコピーします。また、専用クラスタでLlama 2モデルをホストし、APIエンドポイントを使用してアプリケーションと統合することもできます。

このリファレンス・アーキテクチャでは、オブジェクト・ストレージは、データ・ストレージ、変換用のデータ統合、モデル構築用のOCIデータ・サイエンス・ワークスペース、埋込みを格納するためのベクトル・データベース、ホスティング用の専用AIクラスタを使用したOCI生成AIサービス、およびUI用のOCI開発者ツールであるAPEXにプロビジョニングされます。

次の図は、このリファレンス・アーキテクチャを示しています。

oci-generative-ai-llama-arch.pngの説明が続きます

図oci-generative-ai-llama-arch.pngの説明

oci-generative-ai-llama-arch-oracle.zip

OCIでLLMを構築するメリット

汎用AIサービス: OCI Generative AIは、APIを介して利用できるフルマネージド・サービスであり、これらの汎用性の高い言語モデルを、執筆支援、要約、チャットなどの幅広いユースケースにシームレスに統合します。

専用AIクラスタ: 専用AIクラスタは、カスタム・モデルを微調整したり、モデルの専用AIエンドポイントをホストするために使用できるコンピュート・リソースです。クラスタは自分のモデル専用であり、他のテナンシのユーザーと共有されません。

ノート:

Oracle Database 23aiでは、新しいAIベクトル類似性検索機能を使用できます。

このアーキテクチャには次のコンポーネントがあります。

オブジェクト・ストレージ
オブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データにすばやくアクセスできます。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納し、取得できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。迅速、即時、頻繁にアクセスする必要のあるホット・ストレージには、標準ストレージを使用します。長時間保持し、ほとんどまたはめったにアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
OCI統合
Oracle Cloud Infrastructure統合サービスは、Salesforce、SAP、Shopify、Snowflake、Workdayなど、あらゆるアプリケーションとデータ・ソースを接続して、エンドツーエンドのプロセスを自動化し、管理を一元化します。事前組込みアダプタとローコード・カスタマイズを備えた幅広い統合により、クラウドへの移行を簡素化し、ハイブリッドおよびマルチクラウドの運用を合理化します。
OCI Data Science
Oracle Cloud Infrastructure (OCI)データ・サイエンスは、データ・サイエンス・チームが機械学習モデルの作成、トレーニングおよび管理を行うためのフルマネージドでサーバーレスのプラットフォームです。
OCI生成AI
Oracle Cloud Infrastructure Generative AIは、テキスト生成のための幅広いユースケースをカバーする、最先端の大規模な言語モデル(LLM)のセットを提供するフルマネージド・サービスです。プレイグラウンドを使用して、すぐに使用できる事前トレーニング済モデルを試すか、専用AIクラスタ上のエンタープライズ・データに基づいて独自の専用Llama2モデルを作成してホストします。

レコメンデーション

次の推奨事項を開始点として使用します。お客様の要件は、ここで説明するアーキテクチャとは異なる場合があります。

メンテナンスと高可用性
このリファレンス・アーキテクチャでは、ほぼOracle管理のPaaSサービスのみを使用します。このソリューションを使用してソフトウェアをインストール、パッチ適用、更新またはアップグレードする必要はありません。
スケーラビリティとサイズ
このリファレンス・アーキテクチャは、PaaSサービスを使用し、含まれるほとんどのサービスに対してすぐに利用できるスケーラブルなサービスです。
接続性
OCI内のすべての接続はプライベート・ネットワークを介して確立する必要があります。プライベート・エンドポイント・オプションを使用して、OCI PaaSサービスに接続できます。

考慮事項

このリファレンス・アーキテクチャをデプロイする場合は、次の点を考慮してください。

セキュリティ
OCI Generative AIの専用AIクラスタは、Llama 2 LLMモデルのエンドポイントをホストするために使用できるコンピュート・リソースです。クラスタは自分のモデル専用であり、他のテナンシのユーザーと共有されません。
リソース制限
テナンシのベスト・プラクティス、サービスごとの制限およびコンパートメント割当てについて検討します。

詳細の参照

このリファレンス・アーキテクチャの機能についてさらに学習するには、次の追加リソースを参照してください。

承認

作成者: Pavan Kumar Manuguri