Tensori comprimați

term_id: compressed_tensors

Category: basic_concepts

Definition

Tensorii comprimați sunt array-uri multidimensionale utilizate în învățarea profundă, unde precizia numerică (de exemplu, de la float32 la int8) sau spațietatea a fost redusă. Această tehnică, cunoscută sub numele de cuantificare sau…

Summary

Tensori ale căror precizie a datelor sau dimensiune a fost redusă pentru a optimiza stocarea și eficiența computațională.

Key Concepts

  • Cuantificare
  • Spațietate
  • Optimizarea memoriei
  • Viteza inferenței

Use Cases

  • Implementarea aplicațiilor AI pe mobil
  • Procesarea pe dispozitive edge
  • Optimizarea serviciilor pentru modele linguistice mari

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related