在 Oracle Cloud Infrastructure 上使用 Llama 2 模型建立生成式 AI 應用程式

Oracle Cloud Infrastructure Generative AI ( OCI Generative AI) 是一項完全託管的服務，提供一組最先進、可自訂的大型語言模型 (LLM)，涵蓋廣泛的文字產生使用案例。

Meta Llama 2 是一種開放原始碼的大型語言模型，它是以完全受管理的預先訓練基礎模型 (meta.llama-2-70b-chat) 提供，並在 Oracle Cloud Infrastructure (OCI) 上提供 70B 參數。每次執行的使用者提示和回應最多可達 4096 個記號。您可以在 OCI 上快速建置生成式 AI 應用程式，並在 OCI 上採購專屬 AI 叢集以代管 Llama 2 模型。

架構

您可以使用 Llama 2 作為預先訓練的基礎模型，無須擔心基礎基礎架構。執行提示、調整參數、更新提示，然後重新執行模型，直到您滿意結果為止。然後從主控台取得程式碼，並將程式碼複製到您的應用程式。您也可以在專用叢集上代管 Llama 2 模型，並使用 API 端點與您的應用程式整合。

在此參考架構中，Object Storage 是在 OCI 中佈建用於資料儲存、用於轉換的資料整合、用於模型建置的 OCI Data Science Workspace、用於儲存內嵌的 Vector 資料庫、 OCI Generative AI 服務以及用於代管的專屬 AI 叢集，以及用於 UI 的 OCI Developer 工具 - APEX。

下圖說明此參照架構。

oci-generative-ai-llama-arch.png 圖解描述

oci-generative-ai-llama-arch-oracle.zip

在 OCI 上建置 LLM 的優點

生成式 AI 服務： OCI Generative AI 是透過 API 提供的完全託管服務，可將這些多功能語言模型無縫整合至廣泛的使用案例，包括撰寫協助、摘要及交談。

專用的 AI 叢集：專用的 AI 叢集是運算資源，可用來微調自訂模型或託管模型專用的 AI 端點。叢集專供您的模型使用，不會與其他租用戶共用。

附註：

Oracle Database 23ai 提供新的 AI 向量相似性搜尋功能。

此架構具有下列元件：

物件儲存
物件儲存可讓您快速存取各種內容類型的大量結構化和非結構化資料，包括資料庫備份、分析資料，以及豐富的內容 (例如影像和影片)。您可以安全地儲存資料，然後直接從網際網路或雲端平台內擷取資料。您可以擴展儲存體，而不會發生任何效能或服務可靠性的降低。針對快速、立即且經常存取的「熱」儲存體，使用標準儲存體。將封存儲存用於保留很長一段時間、極少或極少存取的「冷」儲存。
OCI 整合
Oracle Cloud Infrastructure 整合服務可連接任何應用程式和資料來源，包括 Salesforce、SAP、Shopify、Snowflake 和 Workday，以自動化端對端流程並集中管理。透過預先建置的轉接器和低程式碼自訂功能，廣泛的整合項目可簡化移轉至雲端，同時簡化混合和多雲端作業。
OCI Data Science
Oracle Cloud Infrastructure (OCI) Data Science 是一個完全託管且無伺服器的平台，可供資料科學團隊建置、訓練及管理機器學習模型。
OCI 世代 AI
Oracle Cloud Infrastructure Generative AI 是一項完全託管的服務，提供一組最先進的大型語言模型 (LLM)，涵蓋廣泛的文字產生使用案例。您可以使用遊樂場試用立即可用的預先訓練模型，或根據您在專用 AI 叢集上的企業資料建立及代管自己的專屬 Llama2 模型。

建議

使用下列建議作為起點。您的需求可能與此處描述的架構不同。

維護和高可用性
此參考架構僅使用 Oracle 管理的 PaaS 服務。您不需要使用此解決方案來安裝、修補、更新或升級軟體。
擴展性和大小
此參考架構使用 PaaS 服務，且可立即擴充至其包含的大部分服務。
連線
OCI 內的所有連線都應該透過專用網路建立，您可以使用專用端點選項連線至 OCI PaaS 服務。

注意事項

建置此參照架構時，請考量下列各點。

安全
OCI Generative AI 中的專用 AI 叢集是運算資源，可用來代管 Llama 2 LLM 模型的端點。叢集專供您的模型使用，不會與其他租用戶共用。
資源限制
請考慮租用戶的最佳做法、依服務區分的限額以及區間配額。

探索更多

請檢閱這些額外資源，以深入瞭解此參考架構的功能。

認可

作者：Pavan Kumar Manuguri