Pre-addestrato
term_id: pretrained
Category: training_techniques
Definition
Il termine ‘pre-addestrato’ descrive un modello di rete neurale che ha subito un addestramento iniziale su un dataset massiccio, spesso generico, come ImageNet o Wikipedia. Questo processo consente al modello di apprendere funzionalità generali e rappresentazioni robuste dei dati. Successivamente, il modello può essere ulteriormente ottimizzato (fine-tuning) su un dataset più piccolo e specifico per il compito target, sfruttando le conoscenze generali acquisite durante la fase di pre-addestramento.
Summary
Si riferisce a un modello che è già stato addestrato su un grande dataset prima di essere adattato per uno specifico compito.
Key Concepts
- Apprendimento per trasferimento
- Estrazione delle funzionalità
- Modelli fondazionali
- Fine-tuning
Use Cases
- Inizializzazione di modelli BERT o GPT
- Utilizzo di ResNet per la classificazione di immagini
- Punto di partenza per compiti NLP specifici del dominio