Unsloth

term_id: unsloth

Category: basic_concepts

Definition

Unsloth, Büyük Dil Modellerinin (LLM) ince ayarını ve dağıtımını optimize etmek için tasarlanmış özel bir araçtır. Standart PyTorch işlemlerini değiştirerek önemli hız artışları ve bellek tasarrufu sağlar.

Summary

Unsloth, büyük dil modellerinin (LLM) eğitimini ve çıkarımını optimize edilmiş bellek yönetimi ve çekirdek uygulamaları aracılığıyla %100’e kadar hızlandıran açık kaynaklı bir kütüphanedir.

Key Concepts

  • Bellek Optimizasyonu
  • Özel Çekirdekler (Custom Kernels)
  • LLM İnce Ayarı
  • Hızlandırma

Use Cases

  • Sınırlı GPU kaynaklarında LLM’leri ince ayar yapmak
  • Çıkarım hatlarını hızlandırmak
  • Eğitim için bulut bilişim maliyetlerini azaltmak

Code Example

1
2
3
4
5
6
7

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Llama-2-7b-bnb-4bit",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True
)

Related