Ajuste y despliegue de un LLM de código abierto en GPU mediante Data Science y acciones rápidas de IA

Introducción

En este tutorial se muestra cómo utilizar el servicio Oracle Cloud Infrastructure (OCI) Data Science para ajustar un LLM de código abierto mediante la funcionalidad de acciones rápidas de IA que proporciona Data Science. Con la facilidad de apuntar y hacer clic, utilizará acciones rápidas de IA para ajustar un LLM Mistral proporcionado por Hugging Face, con ese LLM ajustado en una pregunta frecuente publicada por NVIDIA. A continuación, AI Quick Actions se utiliza para desplegar ese modelo ajustado en OCI en una unidad de GPU A10. El código Python que se ejecuta en un Notebook de Jupyter se utiliza para mostrar que la salida del modelo ajustado tiene el estilo y el tono deseados que es similar a los datos de entrenamiento de NVIDIA.

Objetivos

Requisitos

Tarea 1: Aprovisionamiento de una sesión de bloc de notas de Data Science

  1. Utilice la consola de OCI para crear un proyecto de Data Science.

  2. Navegue hasta ese proyecto y cree una sesión de bloc de notas de Data Science con dos o más ECPU.

  3. Abra esa sesión de bloc de notas y haga clic en Ampliar.

  4. Inicie una sesión de terminal en Data Science.

  5. Utilice ese terminal para clonar un repositorio de github que contenga los blocs de notas de Jupyter que utilizará este tutorial:

    git clone https://github.com/oracle-nace-dsai/quick-actions-demo-archive.git

  6. Clonar preguntas frecuentes sobre NVIDIA:

    git clone https://huggingface.co/datasets/ajsbsd/nvidia-qa

  7. Copie las preguntas frecuentes de NVIDIA en el directorio de datos del primer repositorio

    cp nvidia-qa/NvidiaDocumentationQandApairs.csv quick-actions-demo-archive/data/.

  8. Instale y, a continuación, active el conda General Machine Learning for CPUs on Python 3.11:

    odsc conda install -s generalml_p311_cpu_x86_64_v1 
conda activate /home/datascience/conda/generalml_p311_cpu_x86_64_v1

  9. Instalar LangChain por https://github.com/oracle-samples/oci-data-science-ai-samples/blob/main/ai-quick-actions/model-deployment-tips.md#using-python-sdk-without-streaming

    pip install langgraph "langchain>=0.3" "langchain-community>=0.3" "langchain-openai>=0.2.3" "oracle-ads>2.12"

Tarea 2: Configurar una cuenta de Hugging Face

  1. Crear una cuenta de Hugging Face en https://huggingface.co.

  2. Vaya a su cuenta de Hugging Face > Tokens de acceso y cree un nuevo token de acceso de usuario que tenga estos permisos marcados:

    • Acceso de lectura a los contenidos de todos los repositorios de su espacio de nombres personal
    • Acceso de lectura a los contenidos de todos los repositorios cerrados públicos a los que puede acceder

  3. Utilice una sesión de terminal de Data Science para registrar el token de acceso de usuario con Hugging Face:

    git config --global credential.helper store
huggingface-cli login

Tarea 3: Creación de un bloque de Object Storage

Cree un cubo de Object Storage en la misma región y compartimento que el bloc de notas de Data Science.

Tarea 4: Configurar registro

Crear un grupo de logs y, a continuación, Crear log personalizado

Tarea 5: Uso de las acciones rápidas de IA de Data Science para desplegar el LLM en la unidad de GPU A10, sin ajuste detallado

  1. Vaya a Cuaderno de Data Science > Iniciador > Acciones rápidas de IA.

    a. Busque los modelos Mistral
    b. Haga clic en el mosaico mistralai/Mistral-7B-Instruct-v0.3
    c. Haga clic en Desplegar con el log anterior seleccionado

  2. El despliegue del modelo tarda unos 15 minutos. Puede supervisar el log de despliegue seleccionando Abrir logs en terminal.

  3. Una vez completado el despliegue del modelo, vaya a Despliegues > <su modelo recién desplegado> > Pruebe el modelo y pruebe ese modelo con preguntas simples, como:

    Who wrote the Harry Potter book series?

  4. Algunos LLM simples pueden no responder correctamente las siguientes preguntas de prueba, pero Mistral-7B-Instruct-v0.3 hace un trabajo bastante bueno respondiendo a estas:

    A bat and a ball cost $1.10 in total. The bat costs $1.00 more than the ball. How much does the ball cost?
Every cat has four legs. My pet has four legs. Is my pet a cat?
Who is President of the United States?

Tarea 6: Interacción con el punto final del modelo desplegado

  1. Vaya a Despliegues > <su modelo recién desplegado> Llame al modelo para ver el punto final del modelo desplegado. A continuación, utilice el terminal de Data Science para almacenar ese punto final como una variable de shell. Por ejemplo:

    endpoint=https://modeldeployment.<region>.oci.customer-oci.com/<model_ocid>/predict

  2. Envíe una petición de datos al punto final del modelo desplegado:

    prompt="Who is President of the United States?"
request_body='{"model":"odsc-llm","prompt":"'$prompt'","max_tokens":100,"temperature":0.1,"top_k":50,"top_p":0.99,"stop":[],"frequency_penalty":0,"presence_penalty":0}'
oci raw-request --http-method POST --target-uri $endpoint --request-body "$request_body" --auth resource_principal

  3. Utilice este bucle bash para llamar al punto final del modelo 100 veces en diez segundos:

    for i in $(seq 1 100); do
     oci raw-request --http-method POST --target-uri $endpoint --request-body "$request_body" --auth resource_principal &
     echo $i
     sleep 0.1
  done

  4. Vaya a Despliegues > <su modelo recién desplegado> > Log para ver el tráfico que acaba de enviar al punto final del modelo.

img.png

Descripción de la ilustración log_traffic.png

Tarea 7: Uso de acciones rápidas de IA para ajustar un LLM

La tarea anterior desplegó un LLM de Mistral sin ajuste. Esta tarea ajustará y, a continuación, desplegará el mismo LLM. La tarea 9 comparará las salidas de ambos modelos, ajustadas y sin ajustar. Esta tarea y la siguiente también utilizan dos blocs de notas de Jupyter que se descargaron de este archivo de código.

  1. Utilice el explorador de archivos del bloc de notas de Data Science para navegar a la carpeta quick-actions-demo-archive y abrir el bloc de notas de Jupyter prep_data.ipynb.

  2. Seleccione el núcleo generalml_p311_cpu_x86_64_v1.

  3. Revise el segundo al último párrafo del bloc de notas para que haga referencia a su arrendamiento/espacio de nombres y al cubo de Object Storage.

  4. Ejecute el bloc de notas de Jupyter prep_data.ipynb, que:

    • Lea las preguntas frecuentes de NVIDIA desde el archivo data/NvidiaDocumentationQandApairs.csv
    • vuelva a generar las preguntas frecuentes de CSV como registros JSON con los campos prompt y completion que esperan las acciones rápidas de IA.
    • realizar una división de 90:10 de esos datos en muestras de train:test.
    • transferir el ejemplo de formación al archivo quick_actions/tuning_data/tune_sample.jsonl en Object Storage.

  5. Vaya a Acciones rápidas de IA > Modelos > mistralai/Mistral-7B-Instruct-v0.3. A continuación, haga clic en Ajustar con esta configuración:

    • Ruta de Object Storage = quick_actions/tuning_data/tune_sample.jsonl
    • división de validación = 20%
    • ruta de Object Storage de resultados = quick_actions/tuning_results
    • unidad = BM.GPU.A10.4 si existe disponibilidad. De lo contrario, utilice las unidades 10.2 o 10.1
    • seleccione el grupo de logs y el log

  6. Active Mostrar configuraciones avanzadas con estos valores:

    • batch_size = 64
    • sequence_len = 256
    • learning_rate = 0.000025
    • epochs = 12

  7. El ajuste tarda aproximadamente 60 minutos en una versión A10.2, de modo que haga clic en Abrir logs en el terminal para supervisar los logs del trabajo de ajuste.

  8. Vea la curva de aprendizaje del modelo ajustado en la sección Métricas. Un modelo bien ajustado tendrá una curva de pérdida de validación que desciende y luego se mesea con el aumento de la época. img.png

Descripción de la ilustración learning_curve.png

Tarea 8: Despliegue del LLM ajustado

  1. Vaya a AI Quick Actions > Modelos ajustados > <su modelo ajustado> > Desplegar con esta configuración:

    • Unidad de computación = VM.GPU.A10.1
    • Seleccione el grupo de logs y el log

  2. Haga clic en Abrir logs en el terminal para supervisar el log de despliegue

Tarea 9: Prueba del despliegue del LLM ajustado

  1. Una vez finalizado el despliegue del modelo, vaya a Despliegues > <su modelo recién ajustado> > Pruebe el modelo y pruébelo mediante preguntas de ejemplo de prueba que se muestran en el bloc de notas prep_data.ipynb, como:

    What benefits does Unified Memory bring to complex data structures and classes?

  2. Copie/pegue el punto final del modelo en la variable de shell de la sesión de terminal:

    endpoint=https://modeldeployment.<region>.oci.customer-oci.com/<model_ocid>/predict

  3. Envíe una petición de datos al punto final del modelo desplegado:

    prompt="What benefits does Unified Memory bring to complex data structures and classes?"
request_body='{"model":"odsc-llm","prompt":"'$prompt'","max_tokens":100,"temperature":0.1,"top_k":50,"top_p":0.99,"stop":[],"frequency_penalty":0,"presence_penalty":0}'
oci raw-request --http-method POST --target-uri $endpoint --request-body "$request_body" --auth resource_principal

  4. Utilice este bucle bash para llamar al punto final del modelo 100 veces:

    for i in $(seq 1 100); do
   oci raw-request --http-method POST --target-uri $endpoint --request-body "$request_body" --auth resource_principal &
   echo $i
   sleep 0.1
done

  5. Haga clic en el log del modelo ajustado/desplegado para ver el tráfico reciente en el punto final de ese modelo

  6. Abra el bloc de notas de Jupyter compare_models.ipynb y actualice el párrafo [8] para hacer referencia a los puntos finales de los dos modelos, ajustados y sin ajustar.

  7. Ejecute ese bloc de notas, que:

    • Lea la muestra de prueba de los registros de preguntas frecuentes.
    • Utilice python para alimentar cinco preguntas de prueba en los puntos finales del modelo ajustado y sin ajustar, y compare sus respuestas.

    • Tenga en cuenta el párrafo [10], que ilustra cómo llamar al punto final de un modelo desplegado mediante python, que es bastante simple: img.png

      Descripción de la ilustración call_endpoint.png

  8. Revise los principales resultados de esta prueba:

    • Las respuestas del LLM ajustadas tienen un tono, estilo y longitud bastante similares a las respuestas reales de las preguntas frecuentes compuestas por NVIDIA.
    • Las respuestas del LLM sin ajustar son mucho más detalladas e incluyen muchas sentencias extrañas que probablemente sean incorrectas.
    • Las respuestas del LLM ajustado frente a no ajustado son incorrectas la mayoría de las veces, y casi de la misma manera.
    • El ajuste en un conjunto de datos mucho más grande probablemente aumentaría la precisión de sus respuestas.

Tarea 10: Suprimir los recursos

  1. Vaya a Acciones rápidas de IA > Despliegues y suprima los despliegues de modelo.

  2. Vaya a Acciones rápidas de IA > Modelos > Modelos ajustados y suprímalos.

  3. Utilice la página de la consola de OCI para navegar a la sesión de bloc de notas de Data Science y Terminar.

  4. Haga clic en Trabajos y suprima los trabajos de ajuste.

  5. Suprima el proyecto de Data Science.

  6. Utilice la página de la consola de OCI para navegar al cubo de Object Storage y suprimirlo.

  7. Utilice la consola de OCI para suprimir el log y el grupo de logs.

Acuses de recibo

Más recursos de aprendizaje

Explore otros laboratorios en docs.oracle.com/learn o acceda a más contenido de aprendizaje gratuito en el canal YouTube de Oracle Learning. Además, visite education.oracle.com/learning-explorer para convertirse en un explorador de Oracle Learning.

Para obtener documentación sobre el producto, visite Oracle Help Center.