Il passaggio dai chatbot ai robot che eseguono comandi in linguaggio naturale passa attraverso un'unica classe di modelli. I modelli VLA (Vision-Language-Action, visione-linguaggio-azione) combinano percezione visiva, comprensione del linguaggio e generazione di azioni in un'unica rete neurale. La loro potenza è reale, ma dipende quasi interamente dai dati di addestramento che elaborano. Questa guida spiega cosa contengono effettivamente i dati di addestramento VLA, cosa i team sottovalutano e come pianificare un set di dati che produca un modello utilizzabile.
Punti chiave
- I modelli VLA mappano gli input visivi e linguistici direttamente alle azioni del robot in un'unica rete.
- I dati di addestramento devono includere osservazioni visive sincronizzate, istruzioni linguistiche e azioni.
- I token di azione discreti richiedono dati dimostrativi su larga scala per apprendere in modo efficace.
- I video egocentrici di esseri umani vengono sempre più utilizzati come fonte di pre-addestramento a basso costo per i sistemi VLA.
- Per una distribuzione affidabile, episodi di valutazione rigorosi sono importanti quanto i dati di addestramento.
- Il successo o il fallimento della messa a punto del VLA dipendono dal rigore delle annotazioni, non solo dal volume grezzo.
Che cos'è un modello VLA?
Un modello VLA è un modello di base per la robotica che riceve in input immagini e istruzioni in linguaggio naturale e produce in output azioni robotiche. A differenza delle pipeline tradizionali che separano percezione, pianificazione e controllo in moduli diversi, i modelli visione-linguaggio-azione apprendono una mappatura end-to-end in un'unica rete.
Modello VLA: Una rete neurale che elabora osservazioni visive sincronizzate e istruzioni in linguaggio naturale e produce sequenze di azioni robotiche o token di azione.
Questo design unificato consente ai modelli VLA di ereditare capacità di ragionamento da un ampio pre-addestramento visivo-linguistico e di estenderle con il controllo motorio. In termini di implementazione, ciò significa che un singolo modello può in linea di principio eseguire molteplici compiti, ma solo se i dati di addestramento li coprono con la struttura appropriata.
Cosa contengono effettivamente i dati di addestramento di VLA?
I dati di addestramento VLA contengono quattro elementi fondamentali per ogni episodio: osservazioni visive, un'istruzione in linguaggio naturale, una traiettoria di azione e un'etichetta di successo o fallimento. A questi elementi, i team aggiungono timestamp, stato propriocettivo e indicatori di valutazione.
I quattro strati obbligatori:
- Osservazioni visive — Immagini RGB, spesso abbinate a visualizzazioni di profondità o riprese dalla telecamera al polso.
- Istruzioni linguistiche — comandi concisi in linguaggio naturale come "versa l'acqua nella tazza".
- Traiettorie di azione — Sequenze di azioni discretizzate o continue mappate sui gradi di libertà del robot.
- Etichette di destinazione — indicatori espliciti di successo, fallimento o completamento parziale per ogni episodio.
Un modello VLA aperto con 7 miliardi di parametri è stato addestrato su oltre un milione di episodi tratti da 22 configurazioni robotiche (Stanford et al., 2024), illustrando la diversità attesa per la generalizzazione tra compiti diversi. Senza questa ampiezza, i modelli VLA tendono a memorizzare oggetti specifici piuttosto che a generalizzare.
Perché annotare le azioni è più difficile che annotare le immagini?
Annotare le azioni è più difficile perché le azioni si svolgono in spazi continui e multidimensionali e dipendono dall'incarnazione del robot, non solo dal contenuto dell'immagine. Etichettare un riquadro di delimitazione su una tazza è semplice; etichettare una traiettoria che afferra con successo quella tazza con una pinza specifica in un punto di contatto specifico non lo è.
Token di azione: Una rappresentazione discretizzata del movimento di un robot o dello spostamento dell'effettore finale che un modello VLA può prevedere come un token linguistico.
I team di annotazione devono allineare ogni token di azione con la sua osservazione sincronizzata, contrassegnare gli istanti di contatto, catturare il ripristino in caso di errore e contrassegnare i confini atomici dell'istruzione del linguaggio. Shaip's annotazione dei dati I flussi di lavoro gestiscono questo aspetto su larga scala, con tassonomie strutturate e adattate agli spazi di azione robotica e alle soglie di accettazione per ogni singola attività.
Dove si colloca il video umano egocentrico nella formazione VLA?
I video egocentrici di esseri umani si prestano come fonte di pre-addestramento scalabile, colmando le lacune che i dati reali dei robot non possono coprire. Le riprese in prima persona di esseri umani che cucinano, raccolgono e assemblano catturano comportamenti su una scala che la teleoperazione robotica non potrà mai raggiungere.
Un recente studio ha trasformato video umani egocentrici non strutturati in episodi formattati per VLA (1 milione di segmenti e 26 milioni di fotogrammi) trattando la mano umana come un effettore finale abile (Wu et al., arXiv, 2025). Questo tipo di dati cross-incarnati è ormai prassi comune nelle procedure di pre-addestramento per VLA.
Il problema: il video grezzo non è un dato di addestramento. Ha bisogno di segmentazione, descrizioni linguistiche, retargeting della posizione della mano e convalida della qualità prima di raggiungere una pipeline VLA. Shaip's AI fisica Le operazioni sui dati includono l'acquisizione egocentrica, la conversione da real2sim e l'annotazione allineata al VLA in un'unica consegna.
Come si creano set di valutazione in grado di individuare le modalità di guasto dei VLA?
I set di valutazione individuano le modalità di errore dei VLA quando vengono progettati prima dell'addestramento, non dopo. Tre strutture sono fondamentali: parametri di riferimento per il successo all'interno della distribuzione, test di generalizzazione al di fuori della distribuzione e scenari di sicurezza a livelli di rischio.
Immaginiamo un modello VLA domestico addestrato in modo approfondito su attività di cucina. Un set di valutazione ragionevole dovrebbe testare: attività note in cucine note (distribuzione), attività note in condizioni di illuminazione non familiari (disordine lieve), oggetti sconosciuti con istruzioni note (generalizzazione del concetto) ed eventi rari come versamenti accidentali (livello di sicurezza). Senza ciascuno di questi elementi, il rischio di implementazione rimane non misurato.
Una risorsa neutrale utile per organizzare la copertura dei livelli di rischio è la Quadro di gestione del rischio AI del NIST, che separa i livelli di impatto in un modo che si adatta perfettamente alla progettazione del set di valutazione.
Dati di addestramento VLA: cosa includere nel budget
| Strato | Cosa include | Insidia comune |
|---|---|---|
| Osservazioni visive | Multivista RGB, profondità, fotocamera da polso | Timestamp mancanti o non sincronizzati |
| Lingue disponibili | Istruzioni, descrizioni atomiche | Formulazione vaga che non si traduce in azioni |
| Traiettorie di azione | Token discreti o controlli continui | Nessun allineamento con l'involucro del robot |
| Valutazione | Episodi, sonde OOD, livelli di sicurezza | Progettato troppo tardi, dopo il blocco del modello. |
Conclusione: i modelli VLA si vincono o si perdono nel dataset
Il potenziale massimo di un modello VLA è determinato dai dati di addestramento: dalla loro ampiezza, dalla profondità delle annotazioni e dal rigore della valutazione. I team che pianificano il dataset come un prodotto, e non come un ripensamento, arrivano per primi alla fase di implementazione. I team che si limitano a raccogliere video sperando in funzionalità emergenti, in genere non ci riescono.
Qual è la differenza tra un modello VLA e una politica robotica?
La differenza sta nell'ambito di applicazione. Una politica robotica tradizionale associa le osservazioni alle azioni per un singolo compito o per una piccola famiglia di compiti. Un modello VLA è una politica di tipo "fondamentale" che mira a gestire molteplici compiti su diversi oggetti, in base alle istruzioni in linguaggio naturale. Entrambi sono politiche; i modelli VLA sono semplicemente la versione generalista, addestrata su dati più ampi e allineati al linguaggio.
Di quanti dati di addestramento VLA ha bisogno in genere una sessione di fine-tuning?
Una fase di fine-tuning richiede in genere da poche migliaia a qualche centinaio di migliaia di dimostrazioni di alta qualità, a seconda della complessità del compito e della robustezza del modello di base. Le architetture VLA pre-addestrate riducono notevolmente il volume richiesto. Il fattore decisivo è la qualità dell'annotazione e la precisione delle istruzioni linguistiche, non solo il numero grezzo di episodi.
È possibile addestrare un modello VLA interamente su dati simulati?
È possibile addestrare un modello VLA interamente su dati simulati, ma raramente è sufficiente per la sua implementazione. La simulazione gestisce bene la diversità e gli eventi rari; l'acquisizione di dati reali, invece, modella le dinamiche di contatto e il trasferimento dalla simulazione alla realtà. La maggior parte delle pipeline di produzione combina entrambi gli approcci, con benchmark abbinati che misurano esplicitamente il divario prestazionale tra simulazione e realtà.
Quali modalità di sensori sono necessarie per i dati di addestramento del VLA?
I dati di addestramento VLA richiedono, come minimo, video RGB sincronizzato e una traiettoria di azione. Le pipeline ad alte prestazioni aggiungono profondità, visualizzazioni da telecamera da polso, audio, IMU e letture di forza o coppia a seconda della classe di attività. Il dettaglio non negoziabile è la sincronizzazione temporale tra le diverse modalità: senza di essa, i segnali linguistici e di azione si discostano durante l'addestramento.
Come si valuta la qualità di un dataset VLA prima dell'addestramento?
La valutazione di un dataset VLA si basa su quattro verifiche: accuratezza dell'allineamento linguaggio-azione, coerenza della segmentazione degli episodi, ampiezza della copertura dello spazio delle azioni e rappresentazione dei casi limite. La revisione umana basata su campioni con calibrazione gold-set è il punto di partenza più affidabile. Un accordo tra annotatori superiore al 95% sulle etichette delle azioni è una soglia di produzione comune.
I dati di addestramento del VLA sono gli stessi dei dati di apprendimento per imitazione?
I dati di addestramento VLA sono un superset dei dati di apprendimento per imitazione. I dati di apprendimento per imitazione si concentrano su coppie osservazione-azione derivanti da dimostrazioni. I dati VLA aggiungono istruzioni linguistiche, una struttura multi-task e una copertura cross-embodiment su larga scala, in modo che il modello possa generalizzare al di là delle traiettorie memorizzate.
