Cacheamento

term_id: caching

Category: engineering_practice

Definition

Na engenharia de IA, o cacheamento otimiza o desempenho mantendo resultados de consultas recentes ou frequentes, previsões de modelos ou computações intermediárias em memória rápida (como RAM). Isso reduz a necessidade de execuções dispendiosas de consultas ou inferências repetidas.

Summary

O cacheamento é uma técnica de armazenar dados frequentemente acessados em uma camada de armazenamento temporária e de alta velocidade para reduzir a latência e diminuir a carga nas fontes de dados primárias.

Key Concepts

  • redução de latência
  • otimização de memória
  • políticas de evicção
  • taxa de acerto

Use Cases

  • Armazenamento de resultados de inferência de modelos
  • Cacheamento de saídas de consultas ao banco de dados
  • Pré-cálculo de embeddings de características

Code Example

import redis

# Simple caching example
r = redis.Redis(host='localhost', port=6379, db=0)

def get_prediction(model_id, input_data):
    cache_key = f"pred_{model_id}_{hash(str(input_data))}"
    result = r.get(cache_key)
    if result:
        return result.decode('utf-8')
    # Compute if not cached
    prediction = model.predict(input_data)
    r.setex(cache_key, 3600, str(prediction))
    return prediction

Relacionados