Annotazione del riquadro di delimitazione per il rilevamento di frutti in agricoltura
Come Shaip ha realizzato annotazioni precise con riquadri di delimitazione per ogni mela visibile nelle immagini del frutteto, coprendo l'intero ciclo di crescita, la cattura da prospettive multiple e attributi di condizione a 3 livelli, creando un dataset di livello produttivo per la stima della resa, la raccolta robotizzata e l'intelligenza artificiale per la salute delle colture.
Panoramica del progetto
Con l'avanzare dell'agricoltura di precisione verso la raccolta e la previsione della resa basate sull'intelligenza artificiale, il cliente necessitava di una pipeline di annotazione in grado di rilevare i singoli frutti su larga scala in immagini di frutteti densi e naturalmente complessi, coprendo ogni fase di crescita, dalla fioritura alla raccolta.
Shaip ha creato una pipeline di annotazione completa che comprende il posizionamento preciso dei riquadri di delimitazione per ogni frutto, l'etichettatura delle condizioni multi-attributo, la gestione di immagini da prospettive multiple e un controllo qualità a due livelli, producendo set di dati pronti per l'utilizzo su larga scala nell'ambito dell'intelligenza artificiale per l'agricoltura di precisione.
Statistiche chiave
Soglia di accuratezza
99%
Fasi di crescita
Ciclo completo
Livelli di attributi
3
Prospettive
Terra + Drone
Le sfide
- Annotazione ogni mela visibile in immagini di fitti frutteti: centinaia per fotogramma
- copertura l'intero ciclo di crescita — fiori, piccoli frutti verdi, mele completamente mature
- Manovrabilità immagini multiprospettiche — a livello del suolo, ripresa aerea con drone, primo piano del ramo
- distinto frutti che spuntano dal fogliame quando i colori si mescolano durante le prime fasi di crescita
- Gestione occluso, parziale e influenzato dall'abbagliamento frutta senza compromettere la precisione
Soluzione
Posizionamento della casella di delimitazione per frutto
Gli annotatori hanno disegnato riquadri di delimitazione precisi attorno a ogni mela visibile in ciascuna immagine, indipendentemente dalle dimensioni, dallo stadio di colorazione o dalla posizione all'interno dell'inquadratura. Anche nei gruppi densi in cui decine di frutti si sovrapponevano, ognuno è stato etichettato individualmente per facilitare il conteggio dei frutti e i modelli di stima della resa successivi.
Copertura completa del ciclo di crescita
L'annotazione ha riguardato le mele in tutte le fasi di crescita, dalla fioritura iniziale e dai piccoli frutti verdi fino alle mele rosse e gialle completamente mature. Questa copertura dell'intero ciclo garantisce che il modello addestrato possa rilevare i frutti in qualsiasi momento del ciclo agricolo, non solo al momento del raccolto.
Immagini multiprospettiche
Sono state incluse immagini riprese da terra tra i filari del frutteto, immagini aeree scattate da droni e fotografie ravvicinate dei rami, rendendo il set di dati estremamente diversificato e rappresentativo di una reale implementazione sul campo. A ciascuna prospettiva sono state associate linee guida di annotazione specifiche.
Classificazione degli attributi a 3 livelli
Ogni mela annotata è stata ulteriormente classificata con attributi relativi allo stadio di maturazione (acerba, semi-matura, completamente matura), allo stato di visibilità (completamente visibile, parzialmente occlusa, fortemente occlusa) e alle condizioni del frutto (sano, danneggiato, malato). Questo approccio multi-attributo consente al modello addestrato di valutare la prontezza alla raccolta e lo stato di salute del raccolto, oltre al rilevamento dei frutti.
Gestione dei casi limite
Gli annotatori hanno seguito rigide linee guida per le mele parzialmente fuori dall'inquadratura, le mele a terra, le superfici riflettenti o lucide dei frutti che causavano artefatti di abbagliamento e i piccoli frutti distanti che richiedevano un livello di zoom per l'identificazione. La variabilità dell'illuminazione, in particolare le ombre della chioma, è stata gestita tramite regole di annotazione che tengono conto della prospettiva.
Ambito del progetto
| Tipo di set di dati | Obiettivo | Fasi di crescita | Prospettive | Attributi | Precisione |
|---|---|---|---|---|---|
| Rilevamento della frutta agricola | Mele | Ciclo completo (dalla fioritura alla maturazione) | Terra + drone + primo piano | Maturità, visibilità, condizione | 99% |
Risultati
- Stabilito un pipeline di delimitazione del riquadro di un frutteto denso in grado di rilevare ogni frutto visibile
- Standardizzato copertura completa dell'annotazione del ciclo di crescita dalla fioritura al raccolto
- consegnato classificazione degli attributi a 3 livelli per maturazione, visibilità e condizione
- mantenuto Porta con precisione del 99% tramite controllo qualità a due livelli su immagini da prospettive multiple
- Abilitato il client stima della resa, raccolta robotizzata, salute delle colture e sorveglianza tramite droni AI
Nel complesso, Shaip ha contribuito a trasformare un requisito di rilevamento della frutta su scala di frutteto in una pipeline di annotazione strutturata e pronta per la produzione, in grado di supportare l'agricoltura di precisione, la raccolta robotizzata, la previsione della resa e l'intelligenza artificiale per il monitoraggio della salute delle colture in diversi ambienti di frutteto e cicli di crescita.
Shaip ha annotato mele che in alcune inquadrature non riuscivamo nemmeno a distinguere dalle foglie. L'etichettatura relativa alla fase di crescita e alle condizioni di conservazione ha fornito dati direttamente utili per i nostri modelli di stima della resa e di pianificazione del raccolto.
