Fine-tuning vs RAG: ¿cuándo usar cada uno?
Esta es la pregunta más importante antes de hacer fine-tuning. Son dos formas de personalizar un LLM con tus datos, con casos de uso distintos:
- RAG (Retrieval-Augmented Generation): el modelo consulta tu base de conocimiento en cada respuesta. Ideal para información que cambia frecuentemente (precios, productos, FAQs). Más fácil de actualizar. Sin necesidad de reentrenar.
- Fine-tuning: el conocimiento se "hornea" en los pesos del modelo. Ideal para adaptar el estilo de respuesta, el tono de marca o para que el modelo domine una tarea muy específica (clasificación con esquemas propios, formatos de output muy concretos).
Regla práctica: si el problema es "el modelo no sabe sobre mi empresa", usa RAG. Si el problema es "el modelo no responde como yo quiero", considera fine-tuning.
Cuándo el fine-tuning tiene sentido real
- El modelo debe generar respuestas en un formato muy específico de forma consistente
- Necesitas un tono de marca muy particular que el prompt no consigue de forma fiable
- La tarea es muy específica del sector (terminología legal, médica, industrial propia)
- Tienes cientos o miles de ejemplos de input/output de alta calidad
- El modelo base tiene sesgos que no puedes corregir con prompting
Requisitos y costes del fine-tuning
Datos: mínimo 50-100 pares de ejemplo (input/output de calidad), idealmente 500-1.000+. La calidad importa más que la cantidad.
Fine-tuning de GPT-3.5 Turbo (OpenAI): 0,008 $/1K tokens de entrenamiento + modelos ajustados a mayor precio por uso. Un fine-tuning básico puede costar 20-100 €.
Fine-tuning de modelos open-source (Llama, Mistral): requiere GPU propia o en la nube. Más flexible pero más complejo técnicamente. Coste de cómputo: 50-500 € por run de entrenamiento.
Preguntas frecuentes
¿Puedo hacer fine-tuning de ChatGPT (GPT-4)?
OpenAI ofrece fine-tuning de GPT-3.5 Turbo y versiones más pequeñas. GPT-4 no tiene fine-tuning disponible públicamente aún. Para personalización de GPT-4, la alternativa más efectiva es RAG + system prompts bien diseñados.
¿Cuánto tiempo lleva preparar los datos para fine-tuning?
La preparación de datos es la parte más costosa: recopilar, limpiar y formatear ejemplos de calidad puede llevar de días a semanas. Un dataset de 500 ejemplos bien construido puede requerir 20-40 horas de trabajo humano. Esta inversión se amortiza si el modelo va a procesar mucho volumen.
¿El fine-tuning hace que el modelo "recuerde" mis datos para siempre?
Sí, pero con limitaciones. El fine-tuning adapta el comportamiento del modelo con los datos de entrenamiento, pero no es una base de datos actualizable en tiempo real. Si la información cambia frecuentemente (precios, stock), necesitas RAG para tener datos actualizados.
Términos relacionados
Amplía tu conocimiento con estos conceptos clave del glosario:
