Komprimerade tensorer

term_id: compressed_tensors

Category: basic_concepts

Definition

Komprimerade tensorer är multidimensionella arrayer som används inom djupinlärning där den numeriska precisionen (t.ex. från float32 till int8) eller sparsiteten har reducerats. Denna teknik, känd som kvantisering eller komprimering,

Summary

Tensorer vars dataprecision eller storlek har minskats för att optimera lagring och beräkningseffektivitet.

Key Concepts

  • Kvantisering
  • Sparsitet
  • Minnesoptimering
  • Inferenshastighet

Use Cases

  • Distribution av mobil-AI-applikationer
  • Bearbetning på edge-enheter
  • Optimering av servering av stora språkmodeller

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related