Crie aplicativos de IA generativa usando o modelo Llama 2 na Oracle Cloud Infrastructure

O Oracle Cloud Infrastructure Generative AI (OCI Generative AI) é um serviço totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) de ponta e personalizáveis que abrangem uma ampla variedade de casos de uso para geração de texto.

O Meta Llama 2 é um modelo de linguagem grande de código aberto, que é oferecido como um Modelo Fundamental pré-treinado totalmente gerenciado (meta.llama-2-70b-chat) com parâmetros de 70B no Oracle Cloud Infrastructure (OCI). O prompt e a resposta do usuário podem ter até 4.096 tokens para cada execução. Você pode criar rapidamente seus aplicativos de IA generativa na OCI e hospedar o modelo Llama 2 adquirindo um Cluster de IA dedicado na OCI.

Arquitetura

Você pode usar o Llama 2 como modelos básicos pré-treinados sem se preocupar com a infraestrutura subjacente. Execute os prompts, ajuste os parâmetros, atualize os prompts e execute novamente o modelo até estar satisfeito com os resultados. Em seguida, obtenha o código na Console e copie-o para seus aplicativos. Você também pode hospedar o modelo Llama 2 em um cluster dedicado e integrar-se ao seu aplicativo usando pontos finais de API.

Nesta arquitetura de referência, o Object Storage é provisionado no OCI para armazenamento de dados, Data Integration para transformações, OCI Data Science Workspace para criação de modelos, Banco de dados vetorial para armazenamento de incorporações, serviço OCI Generative AI com Cluster de IA dedicado para hospedagem e ferramenta OCI Developer - APEX para interface do usuário.

O diagrama a seguir ilustra essa arquitetura de referência.

Veja a seguir a descrição da oci-generative-ai-llama-arch.png

Descrição da ilustração oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Vantagens de criar um LLM na OCI

Serviço de IA Generativa: A IA Generativa da OCI é um serviço totalmente gerenciado disponível por meio de uma API para integrar perfeitamente esses modelos de linguagem versáteis em uma ampla variedade de casos de uso, incluindo assistência por escrito, resumo e chat.

Clusters de IA Dedicados: clusters de IA dedicados são recursos de computação que você pode usar para ajustar modelos personalizados ou para hospedar pontos finais de IA dedicados para modelos. Os clusters são dedicados aos seus modelos e não são compartilhados com usuários em outras tenancies.

Observação:

Novo recurso de pesquisa de similaridade de vetor de IA está disponível no Oracle Database 23ai.

A arquitetura tem os seguintes componentes:

Object Storage
O armazenamento de objetos fornece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados de análise e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar rapidamente, imediatamente e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
Integração OCI
Os serviços do Oracle Cloud Infrastructure Integration conectam qualquer aplicativo e fonte de dados, incluindo Salesforce, SAP, Shopify, Snowflake e Workday, para automatizar processos completos e centralizar o gerenciamento. A ampla gama de integrações, com adaptadores predefinidos e personalização de baixo código, simplifica a migração para a nuvem enquanto simplifica as operações híbridas e multicloud.
OCI Data Science
O Oracle Cloud Infrastructure (OCI) Data Science é uma plataforma totalmente gerenciado e sem servidor para que as equipes de ciência de dados para criar, treinar e gerenciar modelos de aprendizagem de máquina.
IA Generativa do OCI
O Oracle Cloud Infrastructure Generative AI é um serviço totalmente gerenciado que fornece um conjunto de LLMs (grandes modelos de linguagem) de ponta que abrangem uma ampla variedade de casos de uso para geração de texto. Use o playground para experimentar os modelos pré-treinados prontos para usar ou crie e hospede seu próprio modelo Llama2 dedicado com base nos dados da sua empresa em clusters de IA dedicados.

Recomendações

Use as recomendações a seguir como ponto de partida. Seus requisitos podem ser diferentes da arquitetura descrita aqui.

Manutenção e Alta Disponibilidade
Essa arquitetura de referência usa quase somente serviços PaaS gerenciados pela Oracle. Não há necessidade de instalar, corrigir, atualizar ou atualizar o software usando esta solução.
Escalabilidade e tamanho
Essa arquitetura de referência usa serviços PaaS e é escalável pronta para uso para a maioria dos serviços que inclui.
Conectividade
Todas as conexões no OCI devem ser estabelecidas por meio de uma rede privada; você pode usar a opção de pontos finais privados para estabelecer conexão com os serviços PaaS do OCI.

Considerações

Considere os pontos a seguir ao implantar essa arquitetura de referência.

Segurança
Clusters de IA dedicados na OCI Generative AI são recursos de computação que você pode usar para hospedar pontos finais para modelos Llama 2 LLM. Os clusters são dedicados aos seus modelos e não são compartilhados com usuários em outras tenancies.
Limites de recursos
Considere as melhores práticas, os limites por serviço e as cotas de compartimento para sua tenancy.

Explorar Mais

Revise esses recursos adicionais para saber mais sobre os recursos dessa arquitetura de referência.

Confirmação

Autor: Pavan Kumar Manuguri