Cree aplicaciones de IA generativa con el modelo Llama 2 en Oracle Cloud Infrastructure

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) es un servicio totalmente gestionado que proporciona un juego de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso para la generación de texto.

Meta Llama 2 es un modelo de lenguaje de código abierto de gran tamaño, que se ofrece como un modelo básico preentrenado totalmente gestionado (meta.llama-2-70b-chat) con parámetros 70B en Oracle Cloud Infrastructure (OCI). La petición de datos y la respuesta del usuario pueden ser hasta 4096 tokens para cada ejecución. Puedes crear rápidamente tus aplicaciones de IA generativa en OCI y alojar el modelo Llama 2 adquiriendo un cluster de IA dedicado en OCI.

Arquitectura

Puede utilizar Llama 2 como modelos fundamentales preentrenados sin preocuparse por la infraestructura subyacente. Ejecute las peticiones de datos, ajuste los parámetros, actualice las peticiones de datos y vuelva a ejecutar el modelo hasta que esté satisfecho con los resultados. A continuación, obtenga el código de la consola y cópielo en las aplicaciones. También puede alojar el modelo Llama 2 en un cluster dedicado e integrarlo con su aplicación mediante puntos finales de API.

En esta arquitectura de referencia, Object Storage se aprovisiona en OCI para almacenamiento de datos, Data Integration para transformaciones, OCI Data Science Workspace para creación de modelos, base de datos vectorial para almacenar integraciones, servicio de IA generativa de OCI con cluster de IA dedicado para alojamiento y herramienta de desarrollador de OCI: APEX para interfaz de usuario.

El siguiente diagrama ilustra esta arquitectura de referencia.

Descripción de oci-generative-ai-llama-arch.png

Descripción de la ilustración oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Ventajas de crear un LLM en OCI

Servicio de IA generativa: OCI Generative AI es un servicio totalmente gestionado disponible a través de una API para integrar sin problemas estos modelos de lenguaje versátiles en una amplia gama de casos de uso, incluida la asistencia de escritura, el resumen y el chat.

Clusters de IA dedicados: los clusters de IA dedicados son recursos informáticos que puede utilizar para ajustar modelos personalizados o para alojar puntos finales de IA dedicados para modelos. Los clusters están dedicados a sus modelos y no se comparten con usuarios de otros arrendamientos.

Note:

La nueva función de búsqueda de similitud de vectores de IA está disponible en Oracle Database 23ai.

La arquitectura tiene los siguientes componentes:

Object Storage
El almacenamiento de objetos proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido rico, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede escalar el almacenamiento sin experimentar ninguna degradación en el rendimiento ni en la confiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento de acceso frecuente al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento "frío" que conserva durante largos períodos de tiempo y a los que rara vez accede.
Integración de OCI
Los servicios de integración de Oracle Cloud Infrastructure conectan cualquier aplicación y origen de datos, incluidos Salesforce, SAP, Shopify, Snowflake y Workday, para automatizar procesos integrales y centralizar la gestión. La amplia gama de integraciones, con adaptadores incorporados y personalización con poco código, simplifica la migración a la nube al tiempo que optimiza las operaciones híbridas y multinube.
OCI Data Science
Oracle Cloud Infrastructure (OCI) Data Science es una plataforma totalmente gestionada y sin servidor que permite a los equipos de ciencia de datos crear, entrenar y gestionar modelos de aprendizaje automático.
IA generativa de OCI
Oracle Cloud Infrastructure Generative AI es un servicio totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) de última generación que abarcan una amplia gama de casos de uso para la generación de texto. Utilice el patio de recreo para probar los modelos previamente entrenados listos para usar, o cree y aloje su propio modelo Llama2 dedicado basado en los datos de su empresa en clusters de IA dedicados.

Recomendaciones

Utilice las siguientes recomendaciones como punto de partida. Los requisitos pueden diferir de la arquitectura que se describe aquí.

Mantenimiento y alta disponibilidad
Esta arquitectura de referencia utiliza casi solo servicios PaaS gestionados por Oracle. No es necesario instalar, aplicar parches, actualizar ni actualizar el software con esta solución.
Escalabilidad y tamaño
Esta arquitectura de referencia utiliza servicios PaaS y es escalable y lista para usar para la mayoría de los servicios que incluye.
Conectividad
Todas las conexiones dentro de OCI se deben establecer a través de una red privada. Puede utilizar la opción de puntos finales privados para conectarse a los servicios PaaS de OCI.

Consideraciones

Tenga en cuenta los siguientes puntos al desplegar esta arquitectura de referencia.

Seguridad
Los clusters de IA dedicados en OCI Generative AI son recursos informáticos que puede utilizar para alojar puntos finales para modelos de LLM Llama 2. Los clusters están dedicados a sus modelos y no se comparten con usuarios de otros arrendamientos.
Límites de recursos
Tenga en cuenta las mejores prácticas, los límites por servicio y las cuotas de compartimento para su arrendamiento.

Explorar más

Revise estos recursos adicionales para obtener más información sobre las funciones de esta arquitectura de referencia.

Agradecimientos

Autor: Pavan Kumar Manuguri