Wskaźnik / Tempo

term_id: rate

Category: basic_concepts

Definition

W sztucznej inteligencji ‘rate’ najczęściej odnosi się do tempa uczenia (learning rate), hiperparametru kontrolującego, o ile zmieniać należy model w odpowiedzi na szacowany błąd przy każdej aktualizacji wag. Odpowiednie dobranie tego parametru jest krytyczne dla zbieżności modelu; zbyt wysokie tempo może prowadzić do rozbieżności, a zbyt niskie wydłuża czas trenowania.

Summary

Pomiar częstotliwości lub prędkości, najczęściej odnoszący się do tempa uczenia się w optymalizacji lub prędkości generowania tokenów.

Key Concepts

  • Tempo uczenia (Learning Rate)
  • Optymalizacja
  • Przepustowość (Throughput)
  • Hiperparametr

Use Cases

  • Dopasowywanie optymalizacji gradientowej
  • Monitorowanie limitów korzystania z API
  • Mierzenie opóźnień wnioskowania

Code Example

1

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

Related