Implementar o Oracle Cloud Infrastructure Generative AI com base no Grande Modelo de Idioma da Cohere
O Oracle Cloud Infrastructure Generative AI (OCI Generative AI) é um serviço totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) de ponta e personalizáveis que abrangem uma ampla variedade de casos de uso para geração de texto. Você pode usar o playground - uma interface na Console para explorar os modelos pré-treinados e personalizados hospedados sem escrever uma única linha de código ou criar e hospedar seus próprios modelos personalizados ajustados com base em seus próprios dados em clusters de IA dedicados.
- Geração: Forneça instruções para gerar texto ou extrair informações do texto.
- Resumo: Resuma o texto com o formato, o tamanho e o tom instruídos.
- Incorporação: Converta texto em incorporações de vetor para usar em aplicativos para pesquisas semânticas, classificação de texto ou clusterização de texto.
Arquitetura
Você pode usar o playground OCI Generative AI para experimentar modelos pré-treinados, executar seus prompts, ajustar os parâmetros, atualizar seus prompts e executar novamente os modelos até estar satisfeito com os resultados. Depois disso, você poderá copiar o código da Console para seus aplicativos.
Você também pode criar uma cópia de um modelo pré-treinado, adicionar seu próprio conjunto de dados de treinamento e deixar que o serviço OCI Generative AI ajuste o modelo. O OCI Generative AI usa clusters de IA dedicados avançados, especialmente dimensionados para ajuste fino. Esses clusters pertencem apenas à sua tenancy. Após o ajuste do modelo, criaremos um ponto final para o modelo personalizado e o host desse modelo em um cluster de IA dedicado projetado para hospedagem.
Vantagens de criar um LLM na OCI
Serviço de IA Generativa: A Oracle oferece serviços nativos de IA generativa em colaboração com a Cohere, uma plataforma líder de IA corporativa equipada com compreensão avançada de linguagem para criar a próxima geração de aplicativos corporativos. A OCI Generative AI é um serviço totalmente gerenciado disponível por meio de uma API para integrar perfeitamente esses modelos de linguagem versáteis em uma ampla gama de casos de uso, incluindo assistência de gravação, resumo e chat.
Clusters de IA Dedicados: clusters de IA dedicados são recursos de computação que você pode usar para ajustar modelos personalizados ou para hospedar pontos finais para modelos personalizados. Os clusters são dedicados aos seus modelos e não são compartilhados com usuários em outras tenancies. O Modelo Personalizado OCI Generative AI permite refinar os modelos usando seus próprios dados.
Modelo Personalizado: O OCI Generative AI permite refinar os modelos usando seus próprios dados.
Observação:
Novo recurso de pesquisa de similaridade de vetor de IA está disponível no Oracle Database 23ai.- OCI Object Storage para armazenamento de dados.
- Espaço de Trabalho do Oracle Cloud Infrastructure Data Science para criação de modelo.
- OCI Generative AI com GPUs para computação.
- Ferramenta Oracle APEX Application Development para IU.
O diagrama a seguir ilustra essa arquitetura de referência.
oci-generative-ai-llm-arch-oracle.zip
A arquitetura tem os seguintes componentes:
- Região
Região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regioes sao independentes de outras regioes, e grandes distancias podem separá-las (entre paises ou ate continentes).
- Rede virtual na nuvem (VCN) e sub-redes
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Object Storage
O armazenamento de objetos fornece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados de análise e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar rapidamente, imediatamente e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- Data Science
O Oracle Cloud Infrastructure Data Science é uma plataforma totalmente gerenciada e sem servidor que as equipes de ciência de dados podem usar para criar, treinar e gerenciar modelos de machine learning (ML) no Oracle Cloud Infrastructure (OCI). Ele pode se integrar facilmente a outros serviços da OCI, como Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade que aumentam a flexibilidade dos negócios, colocando os dados confiáveis da empresa para funcionar rapidamente e pode oferecer suporte a objetivos de negócios orientados a dados com implementação mais fácil de modelos de ML.
- Oracle Database 23ai (Pesquisa de Vetor de IA)
O Oracle Database 23ai oferece o banco de dados convergente mais completo e simples para desenvolvedores que desejam criar novos aplicativos de microsserviços, gráficos, documentos e relacionais.
A Oracle adicionou recursos de pesquisa semântica usando vetores de IA ao Oracle Database 23ai. A coleção de recursos, chamada Pesquisa de Vetor de IA, inclui um novo tipo de dados de vetor, índices de vetor e operadores SQL de pesquisa de vetor que permitem que o Oracle Database armazene o conteúdo semântico de documentos, imagens e outros dados não estruturados como vetores e use-os para executar consultas de similaridade rápidas. Para obter mais informações, consulte o link Blog na seção Explorar Mais.