Definizione
La messa a punto è il processo di adattamento di un modello di apprendimento automatico pre-addestrato a un nuovo compito mediante un addestramento aggiuntivo su set di dati più piccoli e specifici del dominio.
Missione
Lo scopo è riutilizzare le conoscenze provenienti da modelli di grandi dimensioni e migliorare le prestazioni in attività specializzate con meno risorse.
Importanza
- Riduce i costi e i tempi di formazione rispetto alla creazione di modelli da zero.
- Migliora le prestazioni nelle attività specifiche del dominio.
- Rischio di overfitting se i dati di training sono troppo ristretti.
- Relativo all'apprendimento per trasferimento.
Come funziona
- Selezionare un modello di base pre-addestrato.
- Sostituisci o modifica i livelli specifici dell'attività.
- Esegui l'addestramento con dati etichettati dal nuovo dominio.
- Adattare i ritmi di apprendimento per bilanciare le conoscenze vecchie e nuove.
- Convalidare e testare la generalizzazione.
Esempi (mondo reale)
- BERT ottimizzato per l'analisi del sentiment.
- Modelli GPT ottimizzati per i chatbot di assistenza clienti.
- Modelli di visione ottimizzati per la classificazione dell'imaging medico.
Riferimenti / Ulteriori letture
- Howard e Ruder. “Universal Language Model Fine-tuning” (ULMFiT). ACL 2018.
- Documentazione di Hugging Face Transformers.
- Pan e Yang. "Un'indagine sul trasferimento dell'apprendimento". IEEE TKDE.
- Cos'è la messa a punto fine per modelli linguistici di grandi dimensioni? – Shaip
