Definizione
La messa a punto supervisionata (SFT) è il processo di addestramento di un modello pre-addestrato su dati etichettati per un'attività specifica, regolando tutti o parte dei suoi parametri.
Missione
Lo scopo è quello di adattare modelli generici ad attività specializzate con maggiore precisione.
Importanza
- Tecnica fondamentale nella PNL e nei compiti di visione.
- Richiede dati etichettati di alta qualità.
- Rischio di overfitting con set di dati di piccole dimensioni.
- Spesso precursore della RLHF.
Come funziona
- Seleziona un modello preaddestrato.
- Raccogliere dati etichettati per l'attività target.
- Addestrare il modello con l'apprendimento supervisionato.
- Convalidare su un set di test disponibile.
- Distribuisci e monitora le prestazioni.
Esempi (mondo reale)
- GPT ha perfezionato le conversazioni relative al servizio clienti.
- BERT ottimizzato per il riconoscimento di entità denominate.
- Trasformatori visivi ottimizzati per la classificazione delle immagini mediche.
Riferimenti / Ulteriori letture
- Devlin et al. “BERT: Pre-addestramento di trasformatori bidirezionali profondi”. NAACL 2019.
- Documentazione di Hugging Face Transformers.
- Stanford CS224N: PNL con Deep Learning.
- Che cosa è SFT? Perché è importante?
