Pre-allenamento

Definizione

Il pre-addestramento è l'addestramento iniziale di un modello di apprendimento automatico su grandi set di dati generici prima di perfezionarlo su attività specifiche.

Missione

Lo scopo è quello di fornire modelli con rappresentazioni ampie che possano essere trasferiti a più attività, riducendo i requisiti di dati e di elaborazione per l'adattamento a valle.

Importanza

• Fondamenti per LLM moderni e modelli di visione.
• Migliora le prestazioni in diverse attività.
• Costoso in termini di dati e calcoli.
• Richiede un'attenta selezione dei set di dati per evitare distorsioni.

Come funziona

1. Raccogliere enormi set di dati generali (testo, immagini).
2. Definire attività di apprendimento non supervisionate o auto-supervisionate.
3. Addestrare i modelli per apprendere le caratteristiche generali.
4. Salvare i pesi pre-addestrati per riutilizzarli.
5. Ottimizzare i set di dati più piccoli, specifici per attività specifiche.

Esempi (mondo reale)

• BERT pre-addestrato su Wikipedia e BooksCorpus.
• CLIP addestrato su coppie immagine-testo.
• Modelli GPT pre-addestrati su testo Internet su larga scala.

Riferimenti / Ulteriori letture

• Devlin et al. “BERT: Pre-addestramento di trasformatori bidirezionali profondi”. NAACL 2019.
• Radford et al. "I modelli linguistici sono apprendisti con poche possibilità". NeurIPS 2020.
• Rapporto tecnico OpenAI GPT-4.