Documentação do Oracle Cloud Infrastructure

Chat no OCI Generative AI

Use os grandes modelos de chat de linguagem fornecidos na OCI Generative AI para fazer perguntas e obter respostas de conversação por meio de um chatbot de IA.

    1. Na barra de navegação da Console, selecione uma região com IA Generativa, por exemplo, US Midwest (Chicago). Consulte quais modelos são oferecidos em sua região.
    2. Abra o menu de navegação e selecione Análise e IA. Em Serviços de IA, selecione IA Generativa.
    3. Selecione um compartimento para o qual você tenha permissão para trabalhar. Se você não acessar o playground, peça ao administrador para fornecer acesso aos recursos do serviço Generative AI e retorne às etapas a seguir.
    4. Selecione Playground.
    5. Selecione Bate-papo.
    6. Selecione um modelo para a experiência de chat executando uma das seguintes ações:
      • Na lista Modelo, selecione um modelo pré-treinado, como meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 ou um modelo personalizado. Os modelos personalizados são exibidos como nome do modelo (nome do ponto final).
      • Selecione Exibir detalhes do modelo, selecione um modelo e, em seguida, Escolher modelo.
      Observação

      • O modelo meta.llama-3.1-405b-instruct não está disponível para acesso sob demanda em todas as regiões. Para acessar esse modelo, execute uma das seguintes opções:

        • Configurar acesso dedicado: Alterne para uma região suportada para clusters dedicados para o modelo de chat meta.llama-3.1-405b-instruct. Em seguida, crie um cluster de hospedagem e um ponto final para esse modelo.
        • Alternar para uma região sob demanda: Alterne para a região Centro-Oeste dos EUA (Chicago) com suporte para inferência sob demanda para o modelo de chat meta.llama-3.1-405b-instruct.

      • O modelo meta.llama-3.2-11b-vision-instruct não está disponível para acesso sob demanda em qualquer região. Para acessar esse modelo, execute a seguinte opção:

      Saiba mais sobre custos e retiradas de modelo para modos de atendimento on-demand e dedicado.

    7. Inicie uma conversa digitando um prompt ou selecionando um exemplo na lista Exemplo para usar como um prompt base ou para aprender.
      Para modelos que aceitam imagens como meta.llama-3.2-90b-vision-instruct, você pode adicionar uma imagem .png ou .jpg com um tamanho de 5 MB ou menos.
    8. (Opcional) Defina novos valores para os parâmetros. Para obter detalhes do parâmetro, consulte as definições de parâmetro, selecione o modelo que você está usando, listado em Modelos de Bate-papo.
    9. Selecione Enviar.
    10. Informe um novo prompt ou para continuar a conversa de chat, informe um prompt de acompanhamento e selecione Enviar.
      Importante

      No playground, para os modelos de visão que aceitam imagens:
      • Enviar uma imagem sem um prompt não funciona. Ao enviar uma imagem, você deve enviar um prompt sobre essa imagem na mesma solicitação. Em seguida, você pode enviar prompts de acompanhamento e o modelo mantém o contexto da conversa.
      • Para adicionar a próxima imagem e texto, você deve limpar o chat, o que resulta na perda do contexto da conversa anterior por causa da limpeza do chat.
    11. (Opcional) Para alterar as respostas, selecione Limpar bate-papo, atualize os prompts e parâmetros e selecione Enviar. Repita essa etapa até estar satisfeito com a saída.
    12. (Opcional) Depois dos fluxos de saída, revise os tokens de entrada e saída exibidos para o prompt.
      • Tokens de entrada: O número de tokens de entrada usados para gerar a resposta, incluindo seus tokens de prompt e modelo de chat (sistema, função/formatação, esquemas de ferramenta).
      • Tokens de saída: Número de tokens de saída gerados pelo modelo. Inclui tokens de raciocínio quando relatados; alguns modelos, como Gemini e xAI, excluem tokens de raciocínio deste campo.
    13. (Opcional) Para copiar o código que gerou a saída, selecione Exibir código, selecione uma linguagem de programação ou uma estrutura, selecione Copiar código, cole o código em um arquivo e salvar o arquivo. Verifique se o arquivo mantém o formato do código colado.
      Dica

      Se você estiver usando o código em um aplicativo:

    14. (Opcional) Para iniciar uma nova conversa, selecione Limpar bate-papo.
      Observação

      • Quando você seleciona Limpar bate-papo, a conversa de bate-papo é apagada, mas os parâmetros do modelo permanecem inalterados, e você pode continuar usando as últimas definições aplicadas.

        Se você alternar para outro recurso, como Geração, e retornar ao playground do Chat, a conversa de chat e os parâmetros do modelo serão redefinidos para seus valores padrão.

      Saiba mais sobre parâmetros de chat Cohere.

  • Para conversar por chat, use a operação chat-result na CLI de Inferência do Serviço Generative AI.

    Informe o comando a seguir para obter uma lista de opções a serem usadas com a operação chat-result.

    oci generative-ai-inference chat-result -h

    Para obter uma lista completa de parâmetros e valores para os comandos da CLI do OCI Generative AI, consulte CLI de Inferência de IA Generativa e CLI de Gerenciamento de IA Generativa.

  • Execute a operação Bate-papo para conversar usando os grandes modelos de linguagem.

    Para obter informações sobre o uso da API e as solicitações de assinatura, consulte Documentação da API REST e Credenciais da Segurança. Para obter informações sobre SDKs, consulte SDKs e a CLI.