BERT

Definition

BERT è una tecnica di apprendimento automatico basata su transformer per il pre-addestramento nel campo dell’elaborazione del linguaggio naturale (NLP), sviluppata da Google. Utilizza la modellazione del linguaggio mascherata e la previsione della frase successiva per apprendere rappresentazioni bidirezionali.

Summary

Rappresentazioni dell’Encoder Bidirezionale dai Transformer è un modello di elaborazione del linguaggio naturale pre-addestrato.

Key Concepts

• Architettura Transformer
• Modellazione del Linguaggio Mascherata
• Pre-addestramento
• Affinamento (Fine-tuning)

Use Cases

• Sistemi di Risposta alle Domande
• Analisi del Sentiment
• Classificazione del Testo

Related Terms

• GPT (Generative Pre-trained Transformer)
• Transformer (Trasformatore)
• NLP (Elaborazione del Linguaggio Naturale)
• Embeddings (Vettori di parola)