Documentação do Oracle Cloud Infrastructure

Bate-papo na OCI Generative AI

Use os grandes modelos de chat de linguagem fornecidos na OCI Generative AI para fazer perguntas e obter respostas de conversação por meio de um chatbot de IA.

    1. Na barra de navegação da Console, selecione uma região com IA Generativa, por exemplo, US Midwest (Chicago). Consulte quais modelos são oferecidos em sua região.
    2. Abra o menu de navegação e selecione Análise e IA. Em Serviços de IA, selecione IA Generativa.
    3. Selecione um compartimento para o qual você tenha permissão para trabalhar. Se você não acessar o playground, peça ao administrador para fornecer acesso aos recursos do serviço Generative AI e retorne às etapas a seguir.
    4. Selecione Playground.
    5. Selecione Chat.
    6. Selecione um modelo para a experiência de chat executando uma das seguintes ações:
      • Na lista Modelo, selecione um modelo pré-treinado, como meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 ou um modelo personalizado. Os modelos personalizados são exibidos como nome do modelo (nome do ponto final).
      • Selecione Exibir detalhes do modelo, selecione um modelo e, em seguida, selecione Escolher modelo.
      Observação

      • O modelo meta.llama-3.1-405b-instruct não está disponível para acesso sob demanda em todas as regiões. Para acessar esse modelo, execute uma das seguintes opções:

        • Configurar acesso dedicado: Alterne para uma região suportada para clusters dedicados para o modelo de chat meta.llama-3.1-405b-instruct. Em seguida, crie um cluster de hospedagem e um ponto final para esse modelo.
        • Alternar para uma região sob demanda: Alterne para a região Centro-Oeste dos EUA (Chicago) com suporte para inferência sob demanda para o modelo de chat meta.llama-3.1-405b-instruct.

      • O modelo meta.llama-3.2-11b-vision-instruct não está disponível para acesso sob demanda em nenhuma região. Para acessar esse modelo, execute a seguinte opção:

      Saiba mais sobre custos e retiradas de modelo para modos de atendimento on-demand e dedicado.

    7. Inicie uma conversa digitando um prompt ou selecionando um exemplo na lista Exemplo para usar como um prompt base ou para aprender.
      Para modelos que aceitam imagens como meta.llama-3.2-90b-vision-instruct, você pode adicionar uma imagem .png ou .jpg com um tamanho de 5 MB ou menos.
    8. (Opcional) Defina novos valores para os parâmetros. Para obter detalhes do parâmetro, consulte as definições de parâmetro, selecione o modelo que você está usando, listado em Modelos de Bate-papo.
    9. Selecione Enviar.
    10. Informe um novo prompt ou para continuar a conversa de chat, informe um prompt de acompanhamento e selecione Enviar.
      Importante

      No playground, para os modelos de visão que aceitam imagens:
      • Enviar uma imagem sem um prompt não funciona. Ao enviar uma imagem, você deve enviar um prompt sobre essa imagem na mesma solicitação. Em seguida, você pode enviar prompts de acompanhamento e o modelo mantém o contexto da conversa.
      • Para adicionar a próxima imagem e texto, você deve limpar o bate-papo que resulta na perda do contexto da conversa anterior por causa da limpeza do bate-papo.
    11. (Opcional) Para alterar as respostas, selecione Limpar chat, atualize os prompts e os parâmetros e selecione Enviar. Repita essa etapa até estar satisfeito com a saída.
    12. (Opcional) Para copiar o código que gerou a saída, selecione View code, selecione uma linguagem de programação ou uma estrutura, selecione Copy code, cole o código em um arquivo e salve o arquivo. Certifique-se de que o arquivo mantenha o formato do código colado.
      Dica

      Se você estiver usando o código em um aplicativo:

    13. (Opcional) Para iniciar uma nova conversa, selecione Limpar chat.
      Observação

      • Quando você seleciona Limpar chat, a conversa de chat é apagada, mas os parâmetros do modelo permanecem inalterados e você pode continuar usando as últimas definições aplicadas.

        Se você alternar para outro recurso, como Geração, e retornar ao playground Chat, tanto a conversa de chat quanto os parâmetros de modelo serão redefinidos para seus valores padrão.

      Saiba mais sobre parâmetros de chat Cohere.

  • Para conversar por chat, use a operação chat-result na CLI de Inferência de IA Gerativa.

    Informe o comando a seguir para obter uma lista de opções a serem usadas com a operação chat-result.

    oci generative-ai-inference chat-result -h

    Para obter uma lista completa de parâmetros e valores para os comandos da CLI do OCI Generative AI, consulte CLI de Inferência de IA Generativa e CLI de Gerenciamento de IA Generativa.

  • Execute a operação Chat para conversar usando os modelos de linguagem grandes.

    Para obter informações sobre como usar a API e assinar solicitações, consulte a documentação da API REST e Credenciais de Segurança. Para obter informações sobre SDKs, consulte SDKs e a CLI.