Unsloth

term_id: unsloth

Category: basic_concepts

Definition

Unsloth to specjalistyczne narzędzie zaprojektowane w celu optymalizacji dostrajania (fine-tuning) i wdrażania dużych modeli językowych (LLM). Osiąga znaczące przyśpieszenia i redukcję zużycia pamięci poprzez zastąpienie standardowych komponentów PyTorch

Summary

Unsloth to biblioteka open-source, która przyspiesza szkolenie i wnioskowanie dużych modeli językowych (LLM) nawet dwukrotnie dzięki zoptymalizowanemu zarządzaniu pamięcią i implementacjom jąder.

Key Concepts

  • Optymalizacja pamięci
  • Niestandardowe jądra
  • Dostrajanie LLM
  • Przyspieszenie wydajności

Use Cases

  • Dostrajanie LLM na ograniczonych zasobach GPU
  • Przyspieszanie potoków wnioskowania
  • Redukcja kosztów obliczeniowych w chmurze podczas szkolenia

Code Example

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Llama-2-7b-bnb-4bit",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True
)

Powiązane