Ajuste Fino (Fine-tuning)

Definition

O ajuste fino envolve pegar um modelo já treinado em um grande conjunto de dados geral e treiná-lo ainda mais em um conjunto de dados especializado. Isso permite que o modelo retenha o conhecimento geral enquanto adquire habilidades específicas da tarefa.

Summary

O processo de adaptar um modelo pré-treinado a uma tarefa específica de downstream usando um conjunto de dados menor.

Key Concepts

• Aprendizado por Transferência
• Modelo Pré-treinado
• Adaptação Específica à Tarefa
• Taxa de Aprendizado

Use Cases

• Adaptar LLMs para chatbots de atendimento ao cliente
• Especializar classificadores de imagens para diagnósticos médicos
• Personalizar o reconhecimento de fala para sotaques específicos

Code Example

1
2
3
4
5
6

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head

Related Terms

• Pré-treinamento (fase inicial de treinamento em dados gerais)
• Engenharia de Prompt (alternativa ao fine-tuning para guiar modelos)
• LoRA (Low-Rank Adaptation - técnica eficiente de fine-tuning)
• Aprendizado Supervisionado (paradigma de treinamento usado no fine-tuning)