Crea applicazioni di AI generativa utilizzando il modello Llama 2 su Oracle Cloud Infrastructure

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) è un servizio completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) all'avanguardia e personalizzabili che coprono una vasta gamma di casi d'uso per la generazione del testo.

Meta Llama 2 è un modello di linguaggio di grandi dimensioni open source, offerto come modello di base pre-addestrato completamente gestito (meta.llama-2-70b-chat) con parametri 70B su Oracle Cloud Infrastructure (OCI). Il prompt utente e la risposta possono essere fino a 4096 token per ogni esecuzione. Puoi creare rapidamente le tue applicazioni AI generativa su OCI e ospitare il modello Llama 2 procurando un cluster AI dedicato su OCI.

Architettura

Puoi utilizzare Llama 2 come modelli di base pre-addestrati senza preoccuparti dell'infrastruttura sottostante. Eseguire i prompt, regolare i parametri, aggiornare i prompt e rieseguire il modello finché non si è soddisfatti dei risultati. Quindi ottenere il codice dalla console e copiare il codice nelle applicazioni. Puoi anche ospitare il modello Llama 2 su un cluster dedicato e integrarlo con la tua applicazione utilizzando gli endpoint API.

In questa architettura di riferimento, viene eseguito il provisioning dello storage degli oggetti in OCI per lo storage dei dati, l'integrazione dei dati per le trasformazioni, l'area di lavoro di OCI Data Science per la creazione dei modelli, il database vettoriale per la memorizzazione delle incorporazioni, il servizio AI generativa OCI con cluster AI dedicato per l'hosting e lo strumento sviluppatore OCI - APEX per l'interfaccia utente.

Il seguente diagramma illustra questa architettura di riferimento.

Descrizione di oci-generative-ai-llama-arch.png

Descrizione della figura oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Vantaggi della creazione di un LLM su OCI

Servizio AI generativa: OCI Generative AI è un servizio completamente gestito disponibile tramite un'API per integrare perfettamente questi versatili modelli linguistici in una vasta gamma di casi d'uso, tra cui assistenza alla scrittura, riepilogo e chat.

Cluster AI dedicati: i cluster AI dedicati sono risorse di computazione che è possibile utilizzare per ottimizzare i modelli personalizzati o per ospitare endpoint AI dedicati per i modelli. I cluster sono dedicati ai modelli e non vengono condivisi con gli utenti di altre tenancy.

Nota

La nuova funzione di ricerca della somiglianza dei vettori AI è disponibile in Oracle Database 23ai.

L'architettura presenta i seguenti componenti:

Storage degli oggetti
Lo storage degli oggetti offre un accesso rapido a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi memorizzare e quindi recuperare i dati direttamente da Internet o dall'interno della piattaforma cloud. Puoi ridimensionare lo storage senza alcun deterioramento delle prestazioni o dell'affidabilità del servizio. Utilizza lo storage standard per lo storage "caldo" a cui è necessario accedere rapidamente, immediatamente e frequentemente. Utilizza lo storage di archivio per lo storage "freddo" che conservi per lunghi periodi di tempo e a cui accedi raramente o raramente.
Integrazione OCI
I servizi di integrazione di Oracle Cloud Infrastructure connettono qualsiasi applicazione e fonte di dati, tra cui Salesforce, SAP, Shopify, Snowflake e Workday, per automatizzare i processi end-to-end e centralizzare la gestione. L'ampia gamma di integrazioni, con adattatori predefiniti e personalizzazione low-code, semplifica la migrazione al cloud semplificando al contempo le operazioni ibride e multicloud.
OCI Data Science
Oracle Cloud Infrastructure (OCI) Data Science è una piattaforma completamente gestita e serverless che consente ai team di data science di creare, formare e gestire modelli di machine learning.
AI generativa OCI
Oracle Cloud Infrastructure Generative AI è un servizio completamente gestito che offre un set di modelli LLM (Large Language Model) all'avanguardia che coprono una vasta gamma di casi d'uso per la generazione di testo. Utilizza il parco giochi per provare i modelli pre-addestrati pronti all'uso o creare e ospitare il tuo modello Llama2 dedicato in base ai dati aziendali su cluster AI dedicati.

Suggerimenti

Utilizzare i seguenti suggerimenti come punto di partenza. I requisiti dell'utente potrebbero essere diversi dall'architettura descritta qui.

Manutenzione e alta disponibilità
Questa architettura di riferimento utilizza quasi esclusivamente i servizi PaaS gestiti da Oracle. Non è necessario installare, applicare patch, aggiornare o aggiornare il software utilizzando questa soluzione.
Scalabilità e dimensioni
Questa architettura di riferimento utilizza i servizi PaaS ed è scalabile e pronta all'uso per la maggior parte dei servizi inclusi.
Connettività
Tutte le connessioni all'interno di OCI devono essere stabilite tramite una rete privata. È possibile utilizzare l'opzione endpoint privati per connettersi ai servizi PaaS OCI.

Considerazioni

Considerare i seguenti punti durante la distribuzione di questa architettura di riferimento.

Sicurezza
I cluster AI dedicati nell'AI generativa OCI sono risorse di computazione che è possibile utilizzare per l'hosting degli endpoint per i modelli LLM Llama 2. I cluster sono dedicati ai modelli e non vengono condivisi con gli utenti di altre tenancy.
Limiti risorse
Considera le best practice, i limiti in base al servizio e le quote del compartimento per la tua tenancy.

Visualizza altro

Esaminare queste risorse aggiuntive per ulteriori informazioni sulle funzioni di questa architettura di riferimento.

Riconoscimenti

Autore: Pavan Kumar Manuguri