088_prompt_testing_in_gsheets_without_code - IUGO-Studio/tech-ia GitHub Wiki

Resumen general:

El video explica cómo realizar pruebas de prompts (prompt testing) utilizando una hoja de cálculo de Google Sheets. Se presenta un ejemplo donde se comparan tres variaciones de un prompt diseñado para generar un artículo de blog sobre "time blocking": una variación de control (sin modificaciones), una variación que utiliza "emotion prompting" (amenaza de perder el trabajo) y una variación que especifica una longitud de palabra deseada. Se generan múltiples respuestas para cada variación del prompt utilizando el "playground" de la API de OpenAI, y se copian y pegan las respuestas en la hoja de cálculo. Luego, se calcula la longitud promedio de las respuestas para cada variación, y se comparan los resultados.

Conceptos clave:

• Prompt Testing (Pruebas de Prompts): El proceso de evaluar y comparar diferentes variaciones de un prompt para determinar cuál produce los mejores resultados.
• Variación (Variation): Una versión modificada de un prompt.
• Control: La versión original o base de un prompt, que se utiliza como punto de comparación.
• Emotion Prompting: Una técnica que implica agregar estímulos emocionales a un prompt para influir en el comportamiento del modelo de lenguaje.
• Longitud de palabra (Word Length): La cantidad de palabras en una respuesta generada por un modelo de lenguaje.
• Hoja de cálculo (Spreadsheet): Un programa que permite organizar y analizar datos en forma de tabla (ej: Google Sheets, Microsoft Excel).
• Playground de OpenAI: Una interfaz web que permite interactuar directamente con los modelos de lenguaje de OpenAI.
• Formatted prompt: El prompt final, listo para ser enviado al modelo, con las variables ya reemplazadas.
• Prompt Engineering: El arte de diseñar prompts.
• LLM: Modelo de lenguaje extenso.
• Plantilla (Template): Un prompt con variables.
• Tabla dinámica (Pivot table): Una herramienta que permite resumir y analizar datos en una hoja de cálculo.

Ejemplos prácticos:

1. Comparación de tres variaciones de un prompt:
   • Control: Un prompt básico para generar un artículo de blog sobre "time blocking".
   • Variación A (Emotion Prompting): Se agrega la frase "Make it really long or I lose my job" (en mayúsculas) al prompt.
   • Variación B (Longitud de palabra específica): Se agrega la instrucción "Each section should be a minimum of two paragraphs long, and the overall article should be more than 2000 words" al prompt.
   • Se generan 10 respuestas para cada variación utilizando el "playground" de OpenAI.
   • Se copian y pegan las respuestas en una hoja de cálculo de Google Sheets.
   • Se calcula la longitud promedio de las respuestas para cada variación.
   • Se comparan los resultados para determinar qué variación produjo las respuestas más largas.

Consejos y buenas prácticas:

• Realiza pruebas de prompts para optimizar tus resultados: Experimenta con diferentes variaciones de tus prompts para encontrar las que funcionan mejor para tu tarea específica.
• Utiliza una hoja de cálculo para organizar tus pruebas: Esto te permite registrar los prompts, las respuestas, las métricas de evaluación y los resultados de forma sistemática.
• Genera múltiples respuestas para cada variación: Los modelos de lenguaje pueden generar respuestas diferentes cada vez que se les presenta el mismo prompt. Generar múltiples respuestas te permite obtener una mejor estimación del rendimiento promedio de cada variación.
• Utiliza métricas de evaluación relevantes: Elige métricas que sean relevantes para tu tarea (ej: longitud de la respuesta, precisión, coherencia, etc.).
• Compara los resultados de las diferentes variaciones: Utiliza los datos de tu hoja de cálculo para determinar qué variación produjo los mejores resultados.
• Itera y mejora tus prompts: Utiliza los resultados de tus pruebas para refinar tus prompts y obtener mejores resultados en el futuro.
• Documentación: Se hace implícita referencia a la documentación de OpenAI.
• API vs ChatGPT: Se desaconseja usar la interfaz web de ChatGPT para pruebas, debido a su comportamiento variable, y se recomienda usar el playground de la API.

Dudas o preguntas:

• ¿Cómo se pueden realizar pruebas de prompts a mayor escala, con más variaciones y más respuestas? Investigación: Se pueden utilizar herramientas de automatización o scripts para generar las respuestas y recopilar los datos automáticamente. También se pueden utilizar plataformas de experimentación o frameworks de evaluación de modelos de lenguaje.

• ¿Qué otras métricas de evaluación se pueden utilizar además de la longitud de la respuesta? Investigación: Se pueden utilizar métricas como la precisión, la coherencia, la relevancia, la originalidad, el tono, el estilo, etc., según la tarea específica.

• ¿Cómo se pueden interpretar los resultados de las pruebas de prompts? Investigación: Es importante considerar tanto las métricas cuantitativas (ej: longitud promedio de la respuesta) como las cualitativas (ej: calidad del contenido, coherencia). También es importante tener en cuenta el contexto de la tarea y los objetivos específicos.

• ¿Por qué usar el playground en lugar de la API directamente? El playground es una interfaz web que simplifica la interacción con la API de OpenAI. Permite:

  • Experimentar rápidamente: Probar diferentes prompts y parámetros sin necesidad de escribir código.
  • Visualizar las respuestas: Ver las respuestas generadas de forma inmediata y en un formato legible.
  • Ajustar parámetros fácilmente: Modificar la temperatura, la longitud máxima, etc., con controles deslizantes y menús desplegables.

  Usar la API directamente (con Python, por ejemplo) ofrece más control y flexibilidad, y es necesario para automatizar tareas o integrar el LLM en una aplicación. Pero para pruebas y experimentación inicial, el playground es una herramienta muy útil.

• ¿Qué significa 10 observaciones? "10 observaciones" se refiere a que se generaron 10 respuestas para cada variación del prompt. Esto es importante porque los LLMs son no deterministas: la misma entrada (prompt) puede generar diferentes salidas. Al generar múltiples respuestas, se obtiene una mejor estimación del comportamiento promedio del modelo para un prompt determinado.

  • Si solo se generara una respuesta, el resultado podría ser engañoso. Podría ser una respuesta excepcionalmente buena o excepcionalmente mala, y no representaría el rendimiento típico del prompt.
  • Al generar 10 respuestas, se puede calcular un promedio y tener una idea más confiable de cómo se comporta el prompt en general.

  El número de observaciones (10 en este caso) es arbitrario. Se podría usar 5, 20, 100, o cualquier otro número. Cuantas más observaciones, más precisa será la estimación del rendimiento promedio, pero también más tiempo y recursos consumirá la prueba.