Pakatussa tensorit

term_id: compressed_tensors

Category: basic_concepts

Definition

Pakatussa tensorit ovat moniulotteisia taulukoita, joita käytetään syväoppimisessa ja joiden numeerista tarkkuutta (esim. float32:sta int8:aan) tai harvuutta on vähennetty. Tätä tekniikkaa kutsutaan kvantitointi tai tiivistäminen.

Summary

Tensorit, joiden datan tarkkuutta tai kokoa on pienennetty tallennustilan ja laskennallisen tehokkuuden optimoimiseksi.

Key Concepts

  • Kvantitointi
  • Harvuus
  • Muistin optimointi
  • Johtopäätöksenteon nopeus

Use Cases

  • Mobiilisovellusten tekoälykäynnistys
  • Reunalaitteiden (edge devices) käsittely
  • Suurten kielimallien palveluoptimointi

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related