LiDAR multimodale per applicazioni ferroviarie e annotazione 2D.
Come Shaip ha realizzato uno dei progetti più diversificati in termini di tipologie di annotazione nel settore dell'IA ferroviaria, combinando immagini 2D da telecamera e nuvole di punti 3D LiDAR su oltre 39 classi di oggetti e 8 tipi di etichette distinti per alimentare i sistemi di percezione autonoma dei treni e di sicurezza ferroviaria.
Panoramica del progetto
Con l'avvicinarsi della fase di produzione dei sistemi di percezione autonoma per i treni, il cliente necessitava di una pipeline di annotazione multimodale su larga scala, in grado di etichettare l'intero ambiente ferroviario utilizzando sia immagini 2D acquisite da telecamere che dati 3D di nuvole di punti LiDAR, con un'accuratezza spaziale costante.
Shaip ha creato una pipeline di annotazione multimodale completa che copre 8 tipi di etichette distinti, oltre 39 classi di oggetti e oltre 25 classificazioni dello stato dei segnali per i sistemi di segnalazione H/V e Ks, fornendo set di dati convalidati incrociatamente e pronti per l'utilizzo come modello per l'intelligenza artificiale applicata all'autonomia e alla sicurezza ferroviaria.
Stato chiave
Classi di oggetti
39+
Tipi di annotazioni
8
Segnalatori
25+
modalità
2D + 3D
Le sfide
- Manovrabilità Annotazione multimodale 2D + 3D con coerenza spaziale convalidata incrociata
- Annotazione 39+ classi di oggetti che comprende persone, veicoli, infrastrutture, animali e dispositivi di sicurezza
- Operare in tutto 8 tipi di annotazione — Riquadri di delimitazione 2D/3D, cuboidi, polilinee, poligoni
- Classificazione Oltre 25 stati di segnale distinti attraverso i sistemi di segnalazione tedeschi H/V e Ks
- AMMISSIONE logica della soglia di affollamento e annotazione continua della traccia sotto gli oggetti vagoni
Soluzione
Pipeline di annotazione multimodale
Shaip ha configurato una pipeline di annotazione parallela basata su telecamere 2D e LiDAR 3D, con convalida incrociata tra le due modalità. Gli annotatori hanno lavorato simultaneamente con entrambe le fonti di dati per garantire la coerenza spaziale, valutando gli stati di occlusione esclusivamente a partire dai dati della nuvola di punti anziché dalle immagini 2D.
Ontologia delle classi 39+
L'ontologia di annotazione comprendeva persone (con fascia d'età, ausilio per la mobilità, ruolo funzionale, postura, oggetti trasportati e attributi di distrazione), veicoli (biciclette, motociclette, veicoli stradali per sottocategoria), 18 specie di animali e infrastrutture ferroviarie, tra cui binari, scambi, pali della catenaria, segnali, respingenti, ponti di segnalazione, pattini di attrito e oggetti di prova riflettenti.
Classificazione dello stato del segnale
I segnali sono stati annotati con una classificazione dettagliata degli aspetti relativi ai sistemi di segnalazione H/V e Ks, coprendo oltre 25 stati di segnale distinti. Gli annotatori hanno identificato gli aspetti esatti dei segnali sia dalla vista frontale che da quella posteriore, distinguendo tra segnali luminosi e segnali di forma in diversi sistemi di segnalamento ferroviario tedeschi.
Soglia della folla e logica di gruppo
Le annotazioni di folla richiedevano una soglia minima di 6 persone sovrapposte prima di passare dall'annotazione individuale a quella di gruppo. I gruppi di biciclette e i gruppi di animali seguivano la stessa logica di soglia, con regole coerenti per posa e specie all'interno dei gruppi. Ciò garantiva che le scene ad alta densità fossero etichettate con efficienza operativa senza sacrificare il dettaglio.
Annotazione continua della traccia
I binari sono stati annotati in modo continuo anche al di sotto di oggetti come treni o vagoni, con aree di scambio e respingenti mappati con precisione. Questo livello di continuità è essenziale per la pianificazione del percorso ferroviario e per i modelli di rilevamento degli ostacoli.
Ambito del progetto
| Tipo di set di dati | modalità | Classi | Tipi di etichette | Segnalatori | Sistemi |
|---|---|---|---|---|---|
| Percezione dell'ambiente ferroviario | LiDAR 2D + 3D | 39+ | 8 (scatole, parallelepipedi, polilinee, poligoni) | 25+ | H/V, Ks |
Risultati
- Stabilito un Pipeline di annotazione LiDAR multimodale 2D + 3D per la percezione autonoma dei treni
- Standardizzato 39+ ontologia di classi di oggetti che abbraccia persone, veicoli, animali e infrastrutture ferroviarie
- consegnato Oltre 25 classificazioni dello stato del segnale attraverso i sistemi di segnalazione tedeschi H/V e Ks
- implementato logica della soglia di affollamento e annotazione continua del tracciato sotto i vagoni
- Abilitato il client Treni autonomi, sicurezza e intelligenza artificiale per il rilevamento degli ostacoli tabella di marcia
Nel complesso, Shaip ha contribuito a trasformare un requisito di percezione ferroviaria multimodale in una pipeline di annotazione strutturata e pronta per la produzione, in grado di supportare la gestione autonoma dei treni, l'intelligenza artificiale per la sicurezza ferroviaria e i sistemi di riconoscimento dei segnali con coerenza spaziale 2D-3D convalidata incrociatamente su larga scala.
Shaip ha gestito una complessità di annotazione che la maggior parte dei fornitori non è in grado di affrontare. Oltre 39 classi, 8 tipi di etichette, più di 25 stati di segnale, convalida incrociata 2D e 3D: tutto questo è stato fornito come un'unica pipeline coordinata. Di conseguenza, i nostri modelli di percezione ferroviaria si sono addestrati più velocemente.
