Ajuste Fino

term_id: fine_tuning

Category: training_techniques

Definition

El ajuste fino implica tomar un modelo ya entrenado en un conjunto de datos grande y general, y seguir entrenándolo en un conjunto de datos especializado. Esto permite que el modelo retenga el conocimiento general mientras adquiere habilidades específicas para la tarea deseada.

Summary

El proceso de adaptar un modelo preentrenado a una tarea específica utilizando un conjunto de datos más pequeño.

Key Concepts

  • Aprendizaje por Transferencia
  • Modelo Preentrenado
  • Adaptación Específica de Tarea
  • Tasa de Aprendizaje

Use Cases

  • Adaptar LLMs para chatbots de atención al cliente
  • Especializar clasificadores de imágenes para diagnósticos médicos
  • Personalizar el reconocimiento de voz para acentos específicos

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related