Nel campo della robotica, due classi di modelli vengono spesso confuse: i modelli di linguaggio visivo e i modelli di azione-linguaggio visivo. Sebbene simili, entrambi elaborano immagini e testo e derivano dalla stessa tradizione di pre-addestramento multimodale. Tuttavia, per chiunque cerchi di implementare un sistema di intelligenza artificiale in grado di muoversi, e non solo di descrivere, la distinzione è fondamentale. La differenza tra modelli di linguaggio visivo e modelli di azione-visione (VLM e VLA) risiede nella distinzione tra un modello che comprende una scena e un modello che chiude il cerchio con il mondo fisico.
Punti chiave
- I VLM (Virtual Language Machines) mappano immagini e testo in output linguistici; i VLA (Virtual Language Automation) li mappano in azioni robotiche.
- I VLM non possono azionare direttamente un motore, una pinza o un effettore finale.
- I VLA estendono i VLM con token di azione addestrati su dati di dimostrazione robotica.
- La maggior parte delle architetture VLA perfeziona la propria infrastruttura VLM durante le dimostrazioni.
- La robotica di livello operativo richiede dati di addestramento in stile VLA, non solo dati VLM.
- Confondere i due concetti porta a sovrastimare le potenzialità di un modello percettivo in ambito produttivo.
Che cos'è un VLM?
Un VLM (modello visione-linguaggio) è una rete neurale multimodale che prende in input immagini e testo e produce output testuali o strutturati. I VLM vengono addestrati su coppie immagine-testo su vasta scala ed eccellono nella generazione di didascalie, nella risposta a domande visive e nel ragionamento visivo.
VLM: Un modello multimodale che elabora input visivi e linguistici e produce output linguistici o simbolici, come didascalie, classificazioni o sequenze di ragionamento.
I VLM sono potenti, ma il loro spazio di output è simbolico, non fisico. Possono descrivere ciò che accade in una cucina, identificare un oggetto o rispondere a domande su una scena. Non possono raccogliere nulla.
Che cos'è un VLA?
Un modello VLA (visione-linguaggio-azione) è un modello multimodale che elabora input visivi e linguistici e produce sequenze di azioni robotiche. Lo spazio di output include comandi motori, posizioni dell'effettore finale o token di azione che vengono decodificati in segnali di controllo continui.
VLA: Un modello di base robotico che emette azioni, non testo: in genere, token di movimento discretizzati che corrispondono ai gradi di libertà di un robot.
In uno dei documenti fondamentali che hanno definito questo paradigma, RT-2 ha perfezionato le infrastrutture di comunicazione tra visione e linguaggio utilizzando i dati di una dimostrazione robotica e ha prodotto token di azione discretizzati (DeepMind, 2023). Questa transizione di output, dal testo all'azione, rappresenta l'intera differenza architetturale.
In che modo i dati di addestramento di VLM e VLA differiscono?
I dati di addestramento VLM e i dati di addestramento VLA differiscono per ciò che si trova alla fine di ciascun esempio. Un esempio VLM associa un'immagine a una didascalia o a una domanda-risposta. Un esempio VLA associa un'immagine a un'istruzione e a una traiettoria di azione basata su una specifica implementazione robotica.
Un'analogia utile: un VLM è come un analista sportivo che può descrivere ogni azione nel dettaglio ma non ha mai tenuto in mano un pallone. Un VLA è il giocatore. L'esperienza dell'analista è reale e utile, ma non sostituisce le ripetizioni con la palla. I dati di addestramento del VLA sono proprio quelle ripetizioni: osservazioni sincronizzate, istruzioni linguistiche, etichette di azione e indicatori di risultato, ripetuti su milioni di episodi.
Perché non si può semplicemente usare un VLM per la robotica?
Non è possibile utilizzare un VLM direttamente nella robotica perché lo spazio dei token di output non corrisponde ai comandi motori. Un VLM produce parole; un robot necessita di angoli delle articolazioni, velocità dell'effettore finale o stati della pinza. Il divario tra "la tazza è a sinistra" e "sposta il polso di 4 cm a sinistra e chiudi la pinza" è il divario che un VLA colma.
In pratica, molti team perfezionano i VLM trasformandoli in VLA estendendo il vocabolario di output con token di azione, ovvero unità di movimento discretizzate trattate come parole. Questo preserva il ragionamento del VLM, fornendogli al contempo un modo per agire.
Token di azione: Un movimento discretizzato del robot codificato come voce di vocabolario che un modello può prevedere nello stesso modo in cui prevede un token linguistico.
Immaginate una startup nel settore della logistica che acquisisce la licenza di un VLM di alta qualità e presume che sia in grado di guidare un robot di prelievo e posizionamento. Il modello percepisce la scena in modo impeccabile, descrive il piano corretto e non emette alcun comando motorio. Senza un addestramento basato su token di azione, il sistema rimane bloccato nella fase di descrizione. L'aggiunta dei dati VLA è ciò che ne sblocca la capacità operativa.
VLM contro VLA: confronto fianco a fianco
| Dimensioni | VLM | VLA |
|---|---|---|
| Ingresso | Immagini + testo | Immagini + testo + (spesso) stato robot |
| Uscita | Linguaggio/simbolico | Gettoni azione / comandi motori |
| Dati di allenamento | Coppie immagine-testo | Episodi con traiettorie d'azione |
| Caso d'uso | Sottotitolazione, VQA, ragionamento | Robotica, autonomia, intelligenza artificiale incarnata |
| personificazione | Nona | Legato a uno specifico robot o famiglia |
| Valutazione | Accuratezza, BLEU, utilità | Successo del compito, generalizzazione OOD, sicurezza |
Quando dovresti usare ciascuno di essi?
Utilizzare un VLM quando l'attività si conclude con una descrizione, una decisione o una risposta testuale. Utilizzare un VLA quando l'attività si conclude con un'azione fisica.
Nei sistemi ibridi, entrambi hanno un ruolo. I VLM gestiscono la comprensione della scena di alto livello, la conversazione e il ragionamento. I VLA gestiscono il controllo a ciclo chiuso. Molte architetture di produzione utilizzano un VLM come pianificatore e un VLA come esecutore, a volte in progetti a doppio sistema che scambiano le rappresentazioni latenti tra i due. La distinzione è importante perché necessitano di dati di addestramento, criteri di valutazione e controlli di qualità fondamentalmente diversi. Shaip's servizi di visione artificiale and AI fisica Le operazioni sui dati coprono entrambi gli estremi di questo spettro.
Conclusione
VLM contro VLA non è una competizione; è una divisione del lavoro. Entrambi sono essenziali per l'IA incarnata ed entrambi dipendono da dati di addestramento adatti al loro scopo. Scegliere il modello giusto significa abbinarlo al corretto spazio di output e al set di dati adeguato per supportarlo.
Cosa significa VLA in robotica?
VLA è l'acronimo di vision-language-action, una classe di modelli che riceve input visivi e linguistici e produce in output azioni robotiche. La componente di azione è la caratteristica distintiva: è ciò che differenzia i VLA dai precedenti modelli vision-language che producevano solo output testuali o simbolici.
È possibile trasformare un VLM in un VLA?
Un VLM può essere trasformato in un VLA tramite una messa a punto su dati dimostrativi del robot con un vocabolario esteso di token di azione. La maggior parte dei VLA moderni sono costruiti in questo modo, preservando il ragionamento del VLM e insegnandogli al contempo a emettere comandi motori. La fase di messa a punto richiede set di dati di alta qualità allineati alle azioni, non solo testo aggiuntivo.
Un VLA è semplicemente un VLM con una testa diversa?
Un VLA è più di un VLM con una testa diversa. Sebbene molte architetture condividano l'infrastruttura VLM, i VLA aggiungono decodificatori di azioni, tokenizzazione consapevole dell'incarnazione e funzioni di perdita legate al controllo fisico. Alcuni progetti separano la pianificazione dall'esecuzione in moduli VLM e VLA distinti che si scambiano rappresentazioni latenti.
Qual è il test più semplice tra VLM e VLA?
Il test più semplice per distinguere un modello VLM da un modello VLA consiste nel chiedersi cosa produca il modello. Se l'output è una frase, una didascalia, una classificazione o una catena di ragionamenti, il modello è un VLM. Se l'output è un comando per un motore, un angolo di articolazione o un token di azione che aziona un robot, il modello è un VLA. È lo spazio di output, non la modalità di input, a definire la classe.
I VLA necessitano di più dati rispetto ai VLM?
In genere, i VLA necessitano di dati più curati e strutturati rispetto ai VLM, anche quando il numero totale di token è inferiore. L'addestramento dei VLM sfrutta coppie immagine-testo rumorose su scala web. L'addestramento dei VLA richiede traiettorie di azione, allineamento linguistico a livello di episodio ed etichette di successo esplicite, elementi che a loro volta richiedono pipeline di raccolta e annotazione strutturate.
I parametri di riferimento VLM sono utili per la valutazione VLA?
I benchmark VLM hanno un'utilità limitata per la valutazione VLA. L'accuratezza della didascalia e la risposta a domande visive misurano la percezione e il ragionamento, non il controllo. La valutazione VLA dipende dal tasso di successo del compito, dalla generalizzazione a oggetti e ambienti non visti e dalle prestazioni in scenari a livelli di sicurezza: metriche che nessun benchmark VLM attualmente considera.
