ExBERT
term_id: exbert
Category: basic_concepts
Definition
ExBERT proporciona interpretabilidad al modelo transformador BERT analizando la importancia de las cabezas de atención individuales en diferentes capas. Utiliza técnicas como la atribución basada en gradientes o métodos de desmontaje (ablation)…
Summary
Un método para explicar las predicciones de BERT identificando qué cabezas de atención y capas contribuyen más a salidas específicas.
Key Concepts
- Cabezas de atención
- Interpretabilidad del modelo
- Atribución de gradientes
- Arquitectura de transformador
Use Cases
- Depuración de modelos de PLN
- Comprensión del procesamiento sintáctico frente al semántico
- IA explicable en análisis de texto sanitario