Ajuste Fino Supervisado

Definition

El Ajuste Fino Supervisado (SFT) implica tomar un modelo grande preentrenado, como un modelo de lenguaje, y continuar su entrenamiento en un conjunto de datos más pequeño y de alta calidad etiquetado para una tarea específica de nivel inferior.

Summary

El proceso de entrenar adicionalmente un modelo preentrenado en un conjunto de datos específico para adaptarlo a una tarea o dominio particular.

Key Concepts

• Modelos Preentrenados
• Aprendizaje por Transferencia
• Ajuste por Instrucciones
• Adaptación al Dominio

Use Cases

• Desarrollo de chatbots personalizados
• Sistemas especializados de preguntas y respuestas médicas
• Asistentes de generación de código

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Preentrenamiento (Fase inicial del modelo)
• Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF)
• Ingeniería de Prompts (Diseño de entradas)
• LLM (Modelo de Lenguaje Grande)