Unsloth

term_id: unsloth

Category: basic_concepts

Definition

Unsloth adalah alat khusus yang dirancang untuk mengoptimalkan penalaan halus (fine-tuning) dan penyebaran Model Bahasa Besar (LLM). Alat ini mencapai percepatan kecepatan dan pengurangan memori yang signifikan dengan mengganti standar PyTorch

Summary

Unsloth adalah pustaka sumber terbuka yang mempercepat pelatihan dan inferensi Model Bahasa Besar (LLM) hingga 2x melalui manajemen memori dan implementasi kernel yang dioptimalkan.

Key Concepts

  • Optimasi Memori
  • Kernel Kustom
  • Penalaan Halus LLM
  • Akselerasi Kecepatan

Use Cases

  • Menala halus LLM dengan sumber daya GPU terbatas
  • Mempercepat pipa inferensi
  • Mengurangi biaya komputasi awan untuk pelatihan

Code Example

1
2
3
4
5
6
7

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Llama-2-7b-bnb-4bit",
    max_seq_length=2048,
    dtype=None,
    load_in_4bit=True
)

Related