Сжатые тензоры

term_id: compressed_tensors

Category: basic_concepts

Definition

Сжатые тензоры — это многомерные массивы, используемые в глубоком обучении, где числовая точность (например, от float32 до int8) или разреженность была уменьшена. Этот метод, известный как квантование или сжатие,

Summary

Тензоры, у которых снижена точность данных или размер для оптимизации хранения и вычислительной эффективности.

Key Concepts

  • Квантование
  • Разреженность
  • Оптимизация памяти
  • Скорость вывода (инференса)

Use Cases

  • Развертывание мобильных ИИ-приложений
  • Обработка на устройствах периферийного типа (edge devices)
  • Оптимизация обслуживания больших языковых моделей

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related