Model Compression

term_id: model_compression

Category: training_techniques

Definition

Tähän kategoriaan kuuluvat menetelmät kuten leikkaus (pruning), kvantisointi ja tiedon distillointi, joiden tavoitteena on supistaa mallin kokoa säilyttäen samalla suorituskyky. Mallikompressio on olennaista monimutkaisten tekoälymallien käyttöönotossa resurssirajoitetuissa ympäristöissä.

Summary

Mallikompressio viittaa tekniikoihin, jotka pienentävät koneoppimismallien kokoa ja laskennallisia vaatimuksia.

Key Concepts

  • Kvantisointi
  • Leikkaus
  • Tiedon distillointi
  • Johtopäätöksenteon nopeus

Use Cases

  • Mallien käyttöönotto mobiililaitteissa
  • Pilvi-inferenssikustannusten vähentäminen
  • Todellisen ajan videonkäsittelyn nopeuttaminen

Code Example

1
2

import torch.quantization as quant
model = quant.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

Related