Tenxơ nén

term_id: compressed_tensors

Category: basic_concepts

Definition

Tenxơ nén là các mảng đa chiều được sử dụng trong học sâu, nơi độ chính xác số học (ví dụ: từ float32 sang int8) hoặc độ thưa thớt đã được giảm bớt. Kỹ thuật này, được gọi là lượng tử hóa hoặc…

Summary

Các tenxơ có độ chính xác hoặc kích thước dữ liệu đã được giảm để tối ưu hóa lưu trữ và hiệu quả tính toán.

Key Concepts

  • Lượng tử hóa
  • Độ thưa thớt
  • Tối ưu hóa bộ nhớ
  • Tốc độ suy luận

Use Cases

  • Triển khai ứng dụng AI trên thiết bị di động
  • Xử lý trên thiết bị biên (edge devices)
  • Tối ưu hóa việc phục vụ các mô hình ngôn ngữ lớn

Code Example

1
2
3
4

import torch
# Example of converting a tensor to half precision
x = torch.randn(10, 10)
x_compressed = x.half()

Related