אחסון מטמון (Caching)

term_id: caching

Category: engineering_practice

Definition

בהנדסת בינה מלאכותית, אחסון מטמון משפר ביצועים על ידי שמירה של תוצאות שאילתות או תחזיות מודל עדכניות או נפוצות בזיכרון מהיר (כמו RAM). פעולה זו מפחיתה את הצורך בחישובים יקרים או בגישות חוזרות למאגרי נתונים איטיים יותר.

Summary

אחסון מטמון הוא טכניקה של שמירת נתונים הנגישים בתדירות גבוהה בשכבת אחסון זמנית ומהירה כדי להפחית זמן המתנה ולהפחית את העומס על מקורות הנתונים הראשיים.

Key Concepts

  • הפחתת זמן המתנה (Latency)
  • אופטימיזציה של זיכרון
  • מדיניות פינוי (Eviction policies)
  • שיעור פגיעות (Hit rate)

Use Cases

  • שמירת תוצאות הסקה של מודלים
  • אחסון תפוקות שאילתות מסד נתונים
  • חישוב מראש של הטמעות תכונות (Feature embeddings)

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import redis

# Simple caching example
r = redis.Redis(host='localhost', port=6379, db=0)

def get_prediction(model_id, input_data):
    cache_key = f"pred_{model_id}_{hash(str(input_data))}"
    result = r.get(cache_key)
    if result:
        return result.decode('utf-8')
    # Compute if not cached
    prediction = model.predict(input_data)
    r.setex(cache_key, 3600, str(prediction))
    return prediction

Related