QLoRA

Definition

QLoRA kombinuje nízkorangovou adaptaci (LoRA) s 4bitovou kvantizací, což výrazně snižuje paměťovou náročnost potřebnou pro doladění masivních modelů. Ukládáním vah ve formátu 4 bitů a přidáním trénovatelných nízkorangových matic se dosahuje efektivity.

Summary

Kvantované nízkorangové adaptace, metoda pro efektivní doladění velkých jazykových modelů pomocí 4bitové kvantizace a nízkorangových adaptéru.

Key Concepts

• Nízkorangová adaptace (LoRA)
• 4bitová kvantizace
• Efektivita paměti
• Doladění modelu (Fine-Tuning)

Use Cases

• Doladění na spotřebitelských GPU
• Prostředí s omezenými zdroji
• Rychlá iterace modelů

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)

Related Terms

• LoRA (Low-Rank Adaptation, metoda doladění)
• PEFT (Parameter-Efficient Fine-Tuning, efektivní doladění parametrů)
• Kvantizace (snížení přesnosti čísel)
• Parameter-Efficient Fine-Tuning (metoda doladění s malým počtem aktualizovaných parametrů)