Välimuisti

term_id: caching

Category: engineering_practice

Definition

Tekoälyinsinöörintiessä välimuistointi optimoi suorituskykyä säilyttämällä tuoreet tai toistuvat kyselytulokset, mallien ennusteet tai välilaskelmat nopeassa muistissa (kuten RAM-muistissa). Tämä vähentää tarvetta kalliisiin tietokantahakuihin tai uudelleenlaskentaan.

Summary

Välimuistointi on tekniikka, jossa usein käytettyä dataa säilytetään tilapäisessä, nopeassa tallennustasossa viiveen vähentämiseksi ja ensisijaisten tietolähteiden kuormituksen pienentämiseksi.

Key Concepts

  • viiveen vähentäminen
  • muistin optimointi
  • poistopolitiikat
  • osumaosuus

Use Cases

  • Mallien päättelytulosten säilyttäminen
  • Tietokantakyselyiden tulosten välimuistointi
  • Ominaisuusvektorien esilaskeminen

Code Example

import redis

# Simple caching example
r = redis.Redis(host='localhost', port=6379, db=0)

def get_prediction(model_id, input_data):
    cache_key = f"pred_{model_id}_{hash(str(input_data))}"
    result = r.get(cache_key)
    if result:
        return result.decode('utf-8')
    # Compute if not cached
    prediction = model.predict(input_data)
    r.setex(cache_key, 3600, str(prediction))
    return prediction

Liittyvät