Memorare în cache

term_id: caching

Category: engineering_practice

Definition

În ingineria IA, memorarea în cache optimizează performanța păstrând rezultatele interogărilor recente sau frecvente, predicțiile modelelor sau calculele intermediare în memoria rapidă (cum ar fi RAM). Acest lucru reduce necesitatea recalculării sau a accesării repetate a bazelor de date lente.

Summary

Memorarea în cache este o tehnică de stocare a datelor accesate frecvent într-un strat de stocare temporar, de mare viteză, pentru a reduce latența și a diminua încărcarea surselor primare de date.

Key Concepts

  • reducerea latenței
  • optimizarea memoriei
  • politici de evacuare
  • rata de succes

Use Cases

  • Stocarea rezultatelor inferenței modelelor
  • Memorarea în cache a outputurilor interogărilor bazei de date
  • Pre-calcularea încodărilor caracteristicilor

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import redis

# Simple caching example
r = redis.Redis(host='localhost', port=6379, db=0)

def get_prediction(model_id, input_data):
    cache_key = f"pred_{model_id}_{hash(str(input_data))}"
    result = r.get(cache_key)
    if result:
        return result.decode('utf-8')
    # Compute if not cached
    prediction = model.predict(input_data)
    r.setex(cache_key, 3600, str(prediction))
    return prediction

Related