039_self_consistency_sampling - IUGO-Studio/tech-ia GitHub Wiki

Resumen general:

El video presenta la técnica de "Self-Consistency Sampling" (Muestreo de Autoconsistencia), que implica generar múltiples respuestas a un mismo prompt y luego seleccionar la respuesta final basándose en algún criterio, como la respuesta más común, un resumen de las respuestas, o una evaluación de calidad. Se argumenta que esta técnica es especialmente útil debido a la naturaleza no determinista de los LLMs, ya que permite obtener respuestas más confiables al considerar varias "opiniones" del modelo. El video proporciona un ejemplo práctico donde se utiliza esta técnica en combinación con el razonamiento paso a paso ("Chain of Thought") y se muestra cómo, a pesar de que algunas respuestas individuales pueden ser incorrectas o estar mal formateadas, la respuesta más común (obtenida a través del muestreo) es la correcta.

Conceptos clave:

• Self-Consistency Sampling (Muestreo de Autoconsistencia): Generar múltiples respuestas a un mismo prompt y luego seleccionar la mejor respuesta (o una combinación de ellas) según algún criterio.
• No determinismo: El hecho de que los LLMs no siempre produzcan la misma respuesta al mismo prompt.
• Respuesta más común: Un criterio simple para seleccionar la respuesta final: elegir la que aparece con mayor frecuencia entre las múltiples respuestas generadas.
• Agregación: Combinar múltiples respuestas en una sola, por ejemplo, mediante un resumen o un promedio.
• Evaluación: Utilizar una métrica (programática o humana) para evaluar la calidad de cada respuesta y seleccionar la mejor.
• Asincronía (Async): Ejecutar múltiples tareas (generación de respuestas) simultáneamente para reducir el tiempo total.
• Latencia: El tiempo que tarda en generarse una respuesta.
• Prompt Engineering: El arte de crear prompts efectivos.
• LLM: Modelo de lenguaje extenso.

Ejemplos prácticos:

• Pregunta con razonamiento paso a paso y formato JSON:
  • Se utiliza un prompt que instruye al LLM a razonar paso a paso y a proporcionar la respuesta final en formato JSON.
  • Se generan múltiples respuestas (5 por defecto) a la misma pregunta utilizando una llamada asíncrona a la API de OpenAI.
  • Se extrae la respuesta final de cada una de las respuestas generadas (manejando posibles errores de formato).
  • Se selecciona la respuesta más común entre todas las respuestas generadas.
  • El ejemplo muestra cómo, incluso si algunas respuestas individuales son incorrectas, la respuesta más común (obtenida a través del muestreo) es correcta.

Consejos y buenas prácticas:

• Utiliza la asincronía: Genera múltiples respuestas simultáneamente para minimizar el impacto en la latencia.
• Ajusta el número de muestras: Experimenta con diferentes números de respuestas generadas (ej: 3, 5, 10) para encontrar el equilibrio óptimo entre precisión y costo (en tokens).
• Combina con otras técnicas: El "Self-Consistency Sampling" se puede combinar con otras técnicas, como el "Chain of Thought" o la generación iterativa (volver a generar si la respuesta no es satisfactoria).
• Considera diferentes criterios de selección: No te limites a la respuesta más común. Puedes utilizar métricas de evaluación más sofisticadas o incluso combinar respuestas (ej: resumen).
• Trade-off calidad/costo: Aumentar el número de muestras mejora la confiabilidad, pero también aumenta el costo en tokens.
• Ideal para tareas críticas: Debido a que esta técnica mejora la confiabilidad, es muy útil para aplicaciones en las que la precisión es crucial.
• Generación de datos sintéticos: Se puede utilizar para generar múltiples respuestas a partir de un conjunto de prompts, y luego usar un criterio de selección, como el voto mayoritario, para obtener datos sintéticos de alta calidad.

Dudas o preguntas:

• ¿Cómo se puede aplicar el "Self-Consistency Sampling" a tareas que no tienen una respuesta única y objetiva, como la generación de texto creativo? Investigación: Se pueden utilizar métricas de evaluación basadas en la diversidad, la coherencia, la originalidad o la relevancia para seleccionar las mejores respuestas, o incluso combinarlas en un resumen.
• ¿Existe alguna forma de optimizar el proceso de selección de la respuesta final, en lugar de simplemente elegir la más común? Investigación: Se pueden utilizar algoritmos de aprendizaje automático para ponderar las respuestas en función de su calidad estimada, o incluso entrenar un modelo para seleccionar la mejor respuesta directamente.
• ¿Cuáles son las limitaciones del "Self-Consistency Sampling"? Investigación: Puede ser computacionalmente costoso (especialmente con un alto número de muestras), y no garantiza la respuesta correcta si todas las respuestas generadas son incorrectas (aunque reduce la probabilidad de error).
• ¿Cuál es la diferencia entre Self-consistency sampling y simplemente volver a ejecutar el prompt? Investigación: La principal diferencia radica en la eficiencia y el control. Con self-consistency sampling, se generan múltiples respuestas simultáneamente (usando asincronía), lo que ahorra tiempo. Además, se tiene un mecanismo para seleccionar o combinar la mejor respuesta de entre las generadas. Volver a ejecutar el prompt, en cambio, es un proceso secuencial y no ofrece un mecanismo automático para elegir la "mejor" respuesta; se depende de la suerte o de una evaluación manual posterior.