Skompresowane tensory

term_id: compressed_tensors

Category: basic_concepts

Definition

Skompresowane tensory to wielowymiarowe tablice używane w uczeniu głębokim, w których precyzja numeryczna (np. z float32 na int8) lub rzadkość została zmniejszona. Ta technika, znana jako kwantyzacja lub redukcja rzadkości,

Summary

Tensory, których precyzja danych lub rozmiar zostały zmniejszone w celu optymalizacji pamięci i wydajności obliczeniowej.

Key Concepts

  • Kwantyzacja
  • Rzadkość
  • Optymalizacja pamięci
  • Prędkość wnioskowania

Use Cases

  • Wdrażanie aplikacji AI na urządzenia mobilne
  • Przetwarzanie na urządzeniach brzegowych (edge devices)
  • Optymalizacja serwowania dużych modeli językowych

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related