Modello di linguaggio esteso (LLM)

Definizione

Un modello linguistico di grandi dimensioni (LLM) è una rete neurale addestrata su vasti corpora testuali per comprendere e generare il linguaggio umano. Gli LLM utilizzano miliardi di parametri per catturare i modelli linguistici.

Missione

Lo scopo è abilitare attività NLP avanzate come la generazione di testo, la sintesi e la traduzione. Gli LLM sono utilizzati in chatbot, strumenti di ricerca e strumenti di produttività.

Importanza

• Alimenta l'intelligenza artificiale conversazionale moderna.
• Rischio di parzialità, disinformazione e allucinazioni.
• Elevati costi computazionali e ambientali.
• Richiede un attento allineamento e governance.

Come funziona

1. Raccogliere set di dati di testo su larga scala.
2. Tokenizzare il testo in rappresentazioni numeriche.
3. Modelli di trasformatori ferroviari con miliardi di parametri.
4. Impara a prevedere il token successivo nel contesto.
5. Ottimizzare o adattare alle attività successive.

Esempi (mondo reale)

• GPT-4 (OpenAI): utilizzato in ChatGPT.
• PaLM (Google): LLM su larga scala per la ricerca e i prodotti.
• LLaMA (Meta): LLM aperto e focalizzato sulla ricerca.

Riferimenti / Ulteriori letture

• Vaswani et al. “L'attenzione è tutto ciò di cui hai bisogno”. NeurIPS 2017.
• Scheda di sistema OpenAI GPT-4.
• Stanford CRFM. "Modelli di fondazione".
• Tutto ciò che devi sapere su LLM