LoRA

Definition

Το LoRA παγώνει τις προεκπαιδευμένες βαρύτητες του μοντέλου και εισάγει εκπαιδεύσιμους πίνακες ανάλυσης σε κάθε στιβάδα της αρχιτεκτονικής Transformer. Βελτιστοποιώντας μόνο αυτούς τους πίνακες χαμηλού βαθμού, το LoRA μειώνει σημαντικά τον υπολογιστικό κόστος

Summary

Η Προσαρμογή Χαμηλής Ιξχύος (Low-Rank Adaptation) είναι μια μέθοδος ψιλής ρύθμισης αποδοτική ως προς τις παραμέτρους, η οποία ενσωματώνει εκπαιδεύσιμους πίνακες ανάλυσης χαμηλού βαθμού στις υπάρχουσες βαρύτητες του μοντέλου.

Key Concepts

• Ψιλός Ρύθμιση Αποδοτική ως προς τις Παραμέτρους
• Ανάλυση Βαθμού
• Πάγωμα Βαρών
• Μονάδες Προσαρμογέα

Use Cases

• Εξατομίκευση LLMs
• Προσαρμογή Εξειδικευμένου Τομέα
• Εκπαίδευση με Περιορισμένους Πόρους

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related Terms

• PEFT (Parameter-Efficient Fine-Tuning)
• Ψιλός Ρύθμιση (Fine-Tuning)
• Κβάντωση (Quantization)