Tömörített tenzorok

term_id: compressed_tensors

Category: basic_concepts

Definition

A tömörített tenzorok olyan többdimenziós tömbök, amelyeket a mélytanulásban használnak, és ahol a numerikus pontosság (például float32-ről int8-ra) vagy a ritkaság csökkentése megtörtént. Ezt a technikát kvantálásnak vagy tömörítésnek nevezik.

Summary

Olyan tenzorok, amelyek adatpontossága vagy mérete csökkentése optimalizálja a tárolást és a számítási hatékonyságot.

Key Concepts

  • Kvantálás
  • Ritkaság
  • Memóriaoptimalizálás
  • Következtetési sebesség

Use Cases

  • Mobil AI-alkalmazások telepítése
  • Perifériás eszközök feldolgozása
  • Nagy nyelvi modellek kiszolgálásának optimalizálása

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related