Scalabilità dell'intelligenza artificiale fisica e della robotica umanoide con 10 ore di dati di movimento da simulazione a realtà.
Come Shaip ha fornito 10,000 ore di dati di motion capture egocentrico in realtà virtuale su 4,000 partecipanti, 100 attività e oltre 5 ambienti del mondo reale, creando una pipeline di dati di addestramento per l'IA fisica di livello produttivo per la robotica umanoide da simulazione a realtà.
Panoramica del progetto
Con l'avvento dell'IA fisica e della robotica umanoide nell'implementazione nel mondo reale, il cliente necessitava di un framework scalabile per raccogliere 10,000 ore di dati di movimento VR basati su attività in diversi ambienti, con calibrazione, esecuzione e controllo qualità coerenti.
Shaip ha creato la pipeline completa per le operazioni sui dati, che comprende la configurazione della scena, la mappatura QR, il tracciamento con cinque sensori, le prove con i partecipanti, l'acquisizione moderata e i flussi di lavoro di revisione, al fine di supportare 100 attività definite dal cliente e fornire set di dati di intelligenza artificiale incarnata pronti per la modellazione su larga scala.
Statistiche chiave
A chi e' rivolto
~ 4,000
Volume di dati
10,000 ore valide
Copertura ambientale
Ufficio, casa, fabbrica, bar, magazzino ecc.
timeline
1 mese
Le sfide
- Scalare la raccolta dei dati di movimento da flussi di lavoro controllati in stile pilota in un 10,000 ore, multi-ambiente .
- Mantenere precisione di tracciamento costante in vari scenari reali e con diverse configurazioni di partecipanti.
- Garantire che ogni sessione soddisfi i rigorosi requisiti per Controllo delle versioni/APK, configurazione di rete condivisa, screencasting e abbinamento dei sensori.
- Gestione 100 attività definite dal cliente in categorie quali locomozione, manipolazione di oggetti, interazione domestica, interazione in ufficio e flussi di lavoro fisici a più fasi, ognuna delle quali richiede una corretta impostazione della scena, il posizionamento degli oggetti, la predisposizione dei partecipanti e la convalida da parte del moderatore.
- Conversione delle sessioni raw in output pronti per la modellazione attraverso flussi di lavoro ripetibili di controllo qualità, gestione delle ripetizioni e revisione dei caricamenti.
Soluzione
Strategia di raccolta
Shaip ha progettato un framework di raccolta scalabile per 10,000 ore valide di dati di movimento VR, consegnati in batch basati su milestone. In base al rapporto di pianificazione della sorgente di Da 3 a 5 partecipanti ogni 10 ore valide, il programma completo si estende fino a una stima 3,000–5,000 partecipanti, con circa 4,000 partecipanti utilizzato come punto medio di pianificazione.
Gestione dell'ambiente e della scena
Ogni luogo di ripresa è stato trattato come una scena strutturata. Shaip ha documentato l'ambiente utilizzando fotografie grandangolari degli ambienti, ha configurato le scene nel sistema di amministrazione, ha coordinato la revisione da parte del cliente e ha esportato i PDF delle scene per il posizionamento fisico. La mappatura delle scene tramite codici QR ha garantito che ogni ambiente reale potesse essere collegato in modo affidabile al contesto di registrazione corretto.
Pronti per l'uso del dispositivo e dell'applicazione
Shaip ha standardizzato la preparazione tecnica assicurandosi che il visore VR e il dispositivo di monitoraggio fossero connessi alla stessa rete, controllando il flusso di installazione/aggiornamento degli APK e abilitando la registrazione dello schermo tramite browser per consentire al moderatore di visualizzare l'intera sessione.
Tracciamento e calibrazione del movimento
Prima di ogni sessione, tutti e cinque i tracker di movimento venivano abbinati e validati. La calibrazione era obbligatoria per ogni partecipante e comprendeva controlli di allineamento dell'avatar, regolazione del pavimento e impostazione di confini personalizzati per garantire un'acquisizione accurata del movimento di tutto il corpo all'interno dello spazio di attività registrabile.
Esecuzione e moderazione delle attività
Prima della registrazione, i partecipanti sono stati guidati attraverso la preparazione e la prova di compiti specifici per ogni scena. I moderatori hanno osservato tramite screencast, verificato l'accuratezza dei compiti e la chiarezza dei movimenti, e sono passati alla registrazione in diretta solo quando il comportamento dei sensori e i movimenti dei partecipanti soddisfacevano gli standard di qualità. L'avvio e l'arresto della registrazione sono stati eseguiti tramite il flusso di lavoro gestuale definito.
Controllo qualità e output pronti per la modellazione
Dopo la registrazione, le sessioni venivano caricate nella cronologia per la revisione. Shaip convalidava la chiarezza del movimento, la correttezza del compito, l'allineamento della scena e la precisione dei sensori, annullando o ripetendo le registrazioni inutilizzabili quando necessario. Ciò ha creato un percorso più affidabile verso set di dati pronti per l'annotazione, verificati dal controllo qualità e pronti per la modellazione, per l'addestramento di intelligenza artificiale incarnata e robotica.
Ambito del progetto
| Tipo di set di dati | A chi e' rivolto | Volume di registrazione | Ambienti | Volume di attività | Configurazione di acquisizione | timeline |
|---|---|---|---|---|---|---|
| Motion capture egocentrico in realtà virtuale | ~ 4,000 | 10,000 ore valide | Ufficio, casa, bar, fabbrica, magazzino e altri ambienti del mondo reale | 100 attività definite dal cliente | Visore VR + 5 sensori di movimento | 1 mese |
Il Risultato
- Stabilito un framework scalabile per le operazioni sui dati per 10,000 ore di dati di addestramento per l'IA fisica
- Standardizzato Gestione della scena, mappatura basata su codici QR e calibrazione di cinque sensori. in ambienti distribuiti
- Migliore coerenza della raccolta attraverso prove moderate, revisione dello screencast in tempo reale e controllo qualità a livello di sessione.
- Gli utenti dell’app Smart Spaces con Google Wallet possono ora usufruire di accesso mobile contactless con qualsiasi lettore HID® Signo™ abilitato NFC. output convalidati per l'attività e pronti per l'annotazione per lo sviluppo di modelli di intelligenza artificiale incarnata, simulazione e robotica a valle
- Rafforzato il cliente pipeline di dati da simulazione a reale con acquisizione del movimento egocentrico di alta qualità
da diversi contesti del mondo reale
Nel complesso, Shaip ha contribuito a trasformare un requisito complesso di acquisizione VR in una pipeline di dati strutturata e pronta per la produzione, in grado di supportare Intelligenza artificiale fisica, intelligenza incarnata e robotica umanoide iniziative caratterizzate da maggiore coerenza, tracciabilità e scalabilità.
Shaip ci ha aiutato a costruire l'infrastruttura operativa dei dati per la nostra roadmap di IA fisica. Il loro team ha strutturato l'acquisizione del movimento in ambienti multipli, la gestione dei partecipanti, la configurazione delle scene, la calibrazione e il controllo qualità, consentendoci di generare set di dati pronti per la modellazione che supportano l'apprendimento dalla simulazione alla realtà per l'IA incarnata e la robotica umanoide.
