Che cos'è l'annotazione delle immagini: tipi, flussi di lavoro, controllo qualità e checklist del fornitore [aggiornato al 2026]
Questa guida ti aiuta a scegliere il giusto approccio di annotazione per il tuo progetto di visione artificiale, a definire standard di qualità misurabili e a valutare i fornitori con una pratica checklist, in modo che le tue etichette siano accurate, coerenti e pronte per la verifica.
Questa guida seleziona i concetti e li presenta nei modi più semplici possibili in modo da avere una buona chiarezza su cosa si tratta. Ti aiuta ad avere una visione chiara di come potresti sviluppare il tuo prodotto, i processi che ne sono alla base, gli aspetti tecnici coinvolti e altro ancora. Quindi, questa guida è estremamente ricca di risorse se sei:
Introduzione
Nel 2026, molti team velocizzeranno l'etichettatura con pre-etichette assistite da modelli (auto-box, auto-maschere) e quindi utilizzeranno esseri umani per la verifica, la correzione e la gestione dei casi limite, spesso in un ciclo di apprendimento attivo per dare priorità ai campioni più preziosi. Modelli di segmentazione rapidi (ad esempio, flussi di lavoro in stile SAM) possono accelerare la creazione di maschere, ma è ancora necessario un solido controllo qualità per le classi a coda lunga e lo spostamento di dominio.
Questa guida all'acquisto illustra i tipi di annotazione, le tecniche, i flussi di lavoro moderni, le metriche QA e una checklist del fornitore, in modo da poter definire con precisione l'ambito dei progetti ed evitare costose rietichettature.
Che cos'è l'annotazione dell'immagine?
L'annotazione delle immagini è il processo di aggiunta di etichette strutturate alle immagini (e ai fotogrammi video) in modo che le macchine possano apprendere cosa c'è in una scena e dove appare. Queste etichette diventano realtà di base utilizzato per addestrare, convalidare e confrontare i sistemi di visione artificiale.
La qualità dell'annotazione dipende da tre fattori:
- Una tassonomia chiara delle etichette (classi + attributi + definizioni)
- Linee guida coerenti (casi limite, esempi, cosa ignorare)
- Controlli di qualità (rivedere i flussi di lavoro, il campionamento e i criteri di accettazione)
I risultati comuni includono: etichette di classe (ad esempio, "difetto/nessun difetto"), posizioni degli oggetti (caselle), regioni con precisione pixel (maschere), punti chiave/punti di riferimento e ID di tracciamento tra i frame.
Annotazione delle immagini in sintesi
modalità
- Immagini 2D
- Video/Multi-frame
- 3D/LiDAR
Compiti
- Classificazione
- rivelazione
- Segmentazione
- Tracking
Forme
- Scatole/Cuboidi
- Poligoni/Maschere
- Polilinee
- Punti chiave/punti di riferimento
Risultati finali
- File di etichetta + schema
- Rapporto di controllo qualità
- Set di dati con versione
- Trasferimento sicuro
La maggior parte dei team di computer vision annota più tipi di immagini, a seconda dell'applicazione:
- Immagini 2D: Foto di prodotti, immagini mediche, ispezioni industriali, scaffali di vendita al dettaglio
- Video/multi-frame: CCTV, dashcam, analisi sportive, robotica, droni
- Fusione 3D/LiDAR/sensore: Sistemi autonomi e pipeline di mappatura
- Imaging specializzato: Termica, satellitare/aerea, multispettrale, microscopia
Suggerimento per la definizione dell'ambito: i progetti video e 3D richiedono regole esplicite per l'occlusione, la persistenza degli ID, il campionamento dei fotogrammi e i sistemi di coordinate, che incidono sui costi e sulla qualità più della sola scelta della forma.
Tipi di annotazione dell'immagine
C'è un motivo per cui hai bisogno di più metodi di annotazione delle immagini. Ad esempio, c'è una classificazione delle immagini di alto livello che assegna una singola etichetta a un'intera immagine, usata specialmente quando c'è un solo oggetto nell'immagine ma hai tecniche come la segmentazione semantica e di istanza che etichettano ogni pixel, usata per l'etichettatura delle immagini ad alta precisione.
Oltre ad avere diversi tipi di annotazioni delle immagini per diverse categorie di immagini, ci sono altri motivi, come avere una tecnica ottimizzata per casi d'uso specifici o trovare un equilibrio tra velocità e precisione per soddisfare le esigenze del tuo progetto.
Tipi di annotazione dell'immagine
Classificazione delle immagini
Il tipo più elementare, in cui gli oggetti sono ampiamente classificati. Quindi, qui, il processo implica solo l'identificazione di elementi come veicoli, edifici e semafori.
Rilevazione dell'oggetto
Una funzione leggermente più specifica, in cui vengono identificati e annotati diversi oggetti. I veicoli possono essere automobili e taxi, edifici e grattacieli e corsie 1, 2 o più.
Segmentazione dell'immagine
Questo entra nei dettagli di ogni immagine. Comporta l'aggiunta di informazioni su un oggetto, ad esempio colore, posizione, aspetto, ecc., per aiutare le macchine a differenziare. Ad esempio, il veicolo al centro sarebbe un taxi giallo nella corsia 2.
Inseguimento di oggetto
Ciò comporta l'identificazione dei dettagli di un oggetto, come la posizione e altri attributi in più frame nello stesso set di dati. I filmati di video e telecamere di sorveglianza possono essere tracciati per i movimenti degli oggetti e per studiare i pattern.
Ora, affrontiamo ciascun metodo in modo dettagliato.
Classificazione delle immagini
La classificazione delle immagini assegna una o più etichette a un'immagine (o a un'area ritagliata). È il tipo di annotazione più veloce ed economico ed è adatto quando la posizione non è richiesta.
Usalo quando hai bisogno di: Difettoso vs non difettoso, malattia presente/assente, tipo di scena, categoria di contenuto.
Attenzione alla qualità: Definizioni di classe chiare, copertura equilibrata tra le classi e revisione della matrice di confusione.
Rilevazione dell'oggetto
Il rilevamento degli oggetti identifica quali oggetti sono presenti e dove si trovano—di solito utilizzando riquadri di delimitazione (allineati agli assi, ruotati o cuboidi per il 3D).
Scelte chiave di definizione dell'ambito:
- Stile della scatola: Allineato all'asse vs ruotato vs cuboide 3D
- granularità: “Veicolo” vs “auto/autobus/camion”.
- Attributi: Occluso, troncato, danneggiato, posa, ecc.
Attenzione alla qualità: Regole coerenti di tenuta delle scatole, gestione delle sovrapposizioni e criteri di accettazione basati su IoU.
Segmentazione dell'immagine
La segmentazione etichetta i pixel, consentendo al modello di comprendere forme e confini.
- Segmentazione semantica: A ogni pixel viene assegnata una classe (ad esempio, strada, cielo, edificio)
- Segmentazione dell'istanza: Separa i singoli oggetti della stessa classe (ogni auto ha la sua maschera)
- Segmentazione panottica: Combina la segmentazione semantica + istanza in un unico output
Nei flussi di lavoro moderni, la segmentazione è spesso accelerata utilizzando maschere assistite da modelli e poi perfezionati dagli umani per l'accuratezza dei confini e per i casi limite. Gli approcci di segmentazione promptable (ad esempio, pipeline in stile SAM) possono accelerare la creazione di maschere, ma richiedono comunque un QA per scenari a coda lunga e di spostamento di dominio.
Attenzione alla qualità: Metriche sovrapposte (IoU/Dice) più controlli dei confini dove i bordi sono importanti.
Inseguimento di oggetto
Il tracciamento degli oggetti segue gli oggetti attraverso i fotogrammi in un video, assegnando ID traccia persistenti (ad esempio, Persona-12) nel tempo. Il tracciamento consente la comprensione del movimento, l'analisi del comportamento e l'analisi multi-camera.
Scelte chiave di definizione dell'ambito:
- Strategia di inquadratura: Annota ogni fotogramma vs fotogrammi chiave + interpolazione
- Regole di occlusione: Quando mantenere un ID o iniziarne uno nuovo
- Reidentificazione: Come gestire le uscite e i rientri
- Attributi della traccia: Direzione, limiti di velocità, interazioni, violazioni, ecc.
Attenzione alla qualità: Coerenza dell'ID, gestione delle occlusioni e regole chiare per "perso" e "ritrovato".
Tecniche di annotazione delle immagini
L'annotazione dell'immagine viene eseguita attraverso varie tecniche e processi. Per iniziare con l'annotazione delle immagini, è necessaria un'applicazione software che offra le caratteristiche e le funzionalità specifiche e gli strumenti necessari per annotare le immagini in base ai requisiti del progetto.
Per i non addetti ai lavori, ci sono diversi strumenti di annotazione delle immagini disponibili in commercio che consentono di modificarli per il tuo caso d'uso specifico. Ci sono anche strumenti open source. Tuttavia, se i tuoi requisiti sono di nicchia e ritieni che i moduli offerti dagli strumenti commerciali siano troppo basilari, potresti ottenere uno strumento di annotazione delle immagini personalizzato sviluppato per il tuo progetto. Questo è, ovviamente, più costoso e richiede più tempo.
Indipendentemente dallo strumento che crei o a cui ti iscrivi, ci sono alcune tecniche di annotazione delle immagini che sono universali. Diamo un'occhiata a quali sono.
Riquadri di delimitazione (allineati agli assi, ruotati e cuboidi 3D)
I riquadri di delimitazione sono rettangoli disegnati attorno a un oggetto per indicarne la posizione. Sono la tecnica più comune perché sono veloci, scalabili e funzionano bene per i modelli di rilevamento.
Quando utilizzare i riquadri di delimitazione
- È necessaria la posizione dell'oggetto, ma non la sua forma esatta.
- Gli oggetti hanno confini netti e non richiedono precisione in pixel.
- Si desidera un set di dati conveniente per il rilevamento o il conteggio.
Casi d'uso comuni
- Rilevamento dei prodotti sugli scaffali dei negozi al dettaglio
- Rilevamento di veicoli e pedoni
- Rilevamento delle apparecchiature nei siti industriali
- Rilevamento danni (ammaccature/graffi) quando la posizione approssimativa è sufficiente
Punti di riferimento/Punti chiave
Il landmarking (annotazione dei punti chiave) contrassegna punti specifici su un oggetto, come angoli, articolazioni o marcatori anatomici. Aiuta i modelli a comprendere posa, allineamento, forma e misurazione.
Quando utilizzare i punti chiave
- Hai bisogno stima della posa (corpo/mano/viso)
- Hai bisogno allineamento preciso (angoli/spigoli degli oggetti)
- Stai misurando distanze/angoli (medici o industriali)
Casi d'uso comuni
- Monitoraggio del conducente: Angoli degli occhi, punti della bocca, posizione della testa
- Imaging sanitario: Punti di riferimento anatomici per la misurazione
- Analisi sportiva: Posizioni articolari per l'analisi del movimento
- Produzione: Angoli/fori chiave per l'allineamento delle parti e i controlli di qualità
Poligoni/Maschere (etichette con precisione pixel)
I poligoni tracciano il contorno di un oggetto. Spesso vengono convertiti in maschere di segmentazione, che etichettano l'oggetto a livello di pixel. Questa è la soluzione ideale quando la forma e i contorni sono importanti.
Quando usare poligoni/maschere
- Hai bisogno confini precisi (non solo una scatola)
- Gli oggetti sono irregolari (difetti, organi, fuoriuscite, fogliame, danni)
- Piccole differenze di forma influiscono sulle prestazioni (segmentazione a grana fine)
Casi d'uso comuni
- Segmentazione medica (organi, lesioni)
- Difetti industriali (crepe, corrosione, graffi)
- Rimozione dello sfondo/ritagli del prodotto
- Agricoltura (regioni ricche di colture/erbacce), geospaziale (edifici, specchi d'acqua)
Polilinee (Linee)
Le polilinee sono punti collegati utilizzati per etichettare percorsi, bordi e strutture sottili che non sono ben rappresentati da riquadri o poligoni. Sono ideali per elementi come corsie, bordi, crepe, fili o vasi.
Quando utilizzare le polilinee
- L'oggetto è lungo e sottile (una struttura simile a una linea)
- Ti preoccupi di direzione, continuità o curvatura
- Stai mappando percorsi, confini o reti
Casi d'uso comuni
- Corsie stradali, marciapiedi e confini (ADAS/mappatura)
- Crepe sulle superfici (ispezione delle infrastrutture)
- Tubi/cavi/fili nell'immaginario industriale
- Vasi sanguigni nell'imaging medico
- Fiumi/strade nelle immagini satellitari
Casi d'uso per l'annotazione di immagini
In questa sezione, ti guiderò attraverso alcuni dei casi d'uso più promettenti e di maggiore impatto dell'annotazione delle immagini, che spaziano dalla sicurezza, alla protezione e all'assistenza sanitaria, fino a casi d'uso avanzati come i veicoli autonomi.
Ricerca al dettaglio ed e-commerce (scoperta dei prodotti, analisi degli scaffali)
Obiettivo: Aiutare gli utenti a trovare i prodotti visivamente (ricerca, consigli) e aiutare i rivenditori a comprendere le condizioni degli scaffali (disponibilità, conformità al planogramma).
Annotazione più adatta: Classificazione + Rilevamento oggetti (a volte Segmentazione delle istanze per i dettagli più fini).
Cosa etichetti:
- Categorie di prodotto/marche/SKU (la tassonomia è importante)
- Riquadri di delimitazione per i prodotti sugli scaffali (e facoltativamente cartellini dei prezzi)
- Attributi come "frontale", "occluso", "danneggiato", "spazio esaurito"
Imaging sanitario (supporto al rilevamento, misurazione, triage)
Obiettivo: Supportare i flussi di lavoro clinici, ad esempio identificare le regioni di interesse, misurare le strutture o segnalare i casi per la revisione (senza sostituire i medici).
Annotazione più adatta: Segmentazione + Punti chiave/Punti di riferimento (a volte classificazione).
Cosa etichetti:
- Maschere pixel-accurate per organi/lesioni/strutture
- Punti di riferimento per le misurazioni (ad esempio, punti anatomici chiave)
- Attributi come "incerto", "artefatto presente", "scarsa qualità dell'immagine"
Autonomo/Robotica (Comprensione della scena e sicurezza)
Obiettivo: Comprendere l'ambiente per muoversi in sicurezza: rilevare oggetti, interpretare lo spazio percorribile e prevedere il movimento.
Annotazione più adatta: Rilevamento + segmentazione + tracciamento degli oggetti (spesso multi-frame/video).
Cosa etichetti:
- Veicoli/pedoni/ciclisti/segnali/ostacoli (caselle + attributi)
- Area/corsie/marciapiedi percorribili (maschere + polilinee)
- ID di tracciamento nel tempo (l'oggetto persiste nei frame)
Ispezione e produzione industriale (rilevamento e localizzazione dei difetti)
Obiettivo: Rilevare e localizzare tempestivamente i difetti per ridurre scarti, rilavorazioni e reclami in garanzia.
Annotazione più adatta: rivelazione per la localizzazione grossolana; Segmentazione per difetti irregolari.
Cosa etichetti:
- Zone difettose (graffi, crepe, corrosione, ammaccature, contaminazione)
- Tipo di difetto + attributi di gravità
- “Variazione accettabile” vs difetto reale (molto importante nel controllo qualità)
Assicurazione / Sinistri (Supporto per la valutazione dei danni)
Obiettivo: Accelera l'elaborazione dei sinistri identificando le aree danneggiate e stimandone la gravità, supportando al contempo i periti.
Annotazione più adatta: Rilevamento + Segmentazione (più classificazione per gravità).
Cosa etichetti:
- Componenti danneggiati (paraurti, portiera, parabrezza, tetto)
- Danneggia le zone (graffi/ammaccature/crepe) con maschere o scatole
- Attributi: gravità, tipo di parte, “danni multipli”, problemi di illuminazione/angolazione
Geospaziale e mappatura (estrazione di caratteristiche da immagini aeree/satellitari)
Obiettivo: Estrarre funzionalità per la mappatura, la pianificazione, l'agricoltura, la risposta ai disastri e il monitoraggio delle infrastrutture.
Annotazione più adatta: Poligoni/Maschere + Polilinee (a volte rilevamento).
Cosa etichetti:
- Impronte di edifici, corpi idrici, copertura del suolo (poligoni/maschere)
- Strade, fiumi, condotte, confini (polilinee)
- Attributi: tipo di strada, tipo di superficie, tipo di edificio, “in costruzione”
Interna, esternalizzata o ibrida? Come scegliere la strategia di annotazione giusta per il tuo progetto di apprendimento automatico
L'annotazione delle immagini richiede investimenti non solo in termini di denaro, ma anche di tempo e impegno. Come abbiamo accennato, è un'attività che richiede molto lavoro e una pianificazione meticolosa e un coinvolgimento diligente. Ciò che gli annotatori di immagini attribuiscono è ciò che le macchine elaboreranno e forniranno risultati. Pertanto, la fase di annotazione delle immagini è estremamente cruciale.
Ora, dal punto di vista aziendale, hai due modi per annotare le tue immagini:
- Puoi farlo internamente
- Oppure puoi esternalizzare il processo
- IBRIDO
Sono soluzioni uniche e presentano i loro pro e contro. Analizziamole in modo obiettivo.
[Leggi anche: Cos'è il riconoscimento delle immagini tramite intelligenza artificiale? Come funziona ed esempi]
| Fattore decisionale | Interno | Outsourced | Ibrido (comune nel 2026) |
|---|---|---|---|
| Velocità di partenza | Più lento (assunzione + strumentazione) | Più veloce (forza lavoro pronta) | Veloce (forza lavoro del fornitore + responsabile interno) |
| Scala | Limitato dall'assunzione | Scala rapidamente | Bilance con controllo |
| Competenza nel settore | Forte con gli specialisti | Varia in base al fornitore | Esecuzione da parte di PMI interne + fornitori |
| Governance del controllo qualità | Alto se ben fornito di risorse | Dipende dalla maturità del fornitore | Titolare QA interno + QC fornitore |
| Sicurezza e privacy | Più facile da controllare | I controlli devono essere verificati | Dati sensibili interni; etichettatura in blocco esterna |
| Prevedibilità dei costi | Misto (spese generali fisse) | Spesso per unità | equilibrato |
Come scegliere il fornitore o la piattaforma giusta per l'annotazione delle immagini (Checklist di valutazione 2026)
Quando i team dicono di essere alla ricerca di "outsourcing", spesso scelgono due cose:
- An piattaforma di annotazione delle immagini (il livello strumento/flusso di lavoro) e/o
- An fornitore di annotazioni di immagini (il team di assistenza che esegue l'etichettatura su larga scala).
Alcune aziende acquistano una piattaforma e gestiscono l'etichettatura internamente. Altre si rivolgono a un fornitore che utilizza la propria piattaforma. Molte scelgono una soluzione ibrida: tu possiedi la piattaforma e le linee guida; il fornitore fornisce annotatori qualificati e operazioni di controllo qualità.
Checklist della piattaforma di annotazione delle immagini
1. Adattamento del flusso di lavoro (supporta il tuo compito?)
- La piattaforma supporta i tipi di etichette richiesti (caselle, caselle ruotate, poligoni/maschere, punti chiave, polilinee, tracciamento video)?
- Supporta i flussi di lavoro dei revisori (passaggio singolo, passaggio doppio, escalation)?
2. Funzionalità QA (controlli di qualità integrati)
- Etichettatura consensuale o code di revisione
- Campionamento di audit + etichettatura dei problemi
- Capacità di mantenere un set dorato ed eseguire controlli di calibrazione
3. Interoperabilità (evitare il lock-in)
- Formati di esportazione di cui hai bisogno (e proprietà dello schema:possiedi la tassonomia/etichette)
- Controllo del set di dati/versione e registri delle modifiche
- Supporto API per il routing delle attività, l'automazione e l'integrazione della pipeline
4. Sicurezza e controllo degli accessi
- Accesso basato sui ruoli + registri di controllo
- Controlli di conservazione dei dati e opzioni di trasferimento sicuro
- Supporto per ambienti con restrizioni (VDI/VPN) per set di dati sensibili
Elenco di controllo del fornitore di annotazioni delle immagini (partner di servizi da cui dipendi)
1. Adattamento del dominio e prove
- Puoi condividere linee guida campione set doratoe Rapporti di controllo qualità da progetti simili?
- Qual è il rapporto tra revisori e flusso di lavoro di escalation per i casi ambigui?
- Come si formano gli annotatori e come si mantengono calibrati nel tempo?
2. Sistema di qualità (non negoziabile)
- Quali metodi di controllo qualità utilizzate (consenso, revisione a doppio passaggio, audit)?
- Come si misura e si segnala la qualità (metriche specifiche per attività + tassonomia degli errori)?
- Quali sono i criteri di accettazione per ogni tipo di etichetta (caselle, maschere, punti chiave, tracciamento)?
3. Controlli di sicurezza e privacy
- Controlli di accesso basati sui ruoli e registri di controllo
- Trasferimento e archiviazione sicura dei dati, politica di conservazione
- Opzioni per VDI/VPN o ambienti con restrizioni per set di dati sensibili
4. Strumenti e interoperabilità (compatibilità tra fornitori e piattaforme)
- Il venditore può lavorare in Your piattaforma di annotazione delle immagini (o esportazione pulita su di essa)?
- Controllo delle versioni di etichette e linee guida (controllo delle modifiche)
- Passaggio di consegne chiaro: Schemi, esportazioni e riepiloghi QA per batch di consegna
5. Scalabilità e operazioni
- Impegni di produttività e SLA
- Capacità di far crescere i team senza cali di qualità
- Come gestiscono le nuove classi, le nuove aree geografiche e i cambiamenti delle linee guida
6. Preparazione alla governance e alla conformità (pianificazione per il 2026 e oltre)
Se operi in ambienti regolamentati, chiedi come i fornitori e le piattaforme supportano verificabilità, documentazione e governance dei dati.
Consigli veloci
- Scegli un forte piattaforma di annotazione delle immagini se hai bisogno di controllo, integrazioni e responsabilità interna del controllo qualità.
- Scegli un fornitore di annotazioni di immagini se hai bisogno di una scalabilità rapida, di personale qualificato e di una produttività stabile.
- Scegli ibrido se vuoi entrambe le cose: mantieni la tassonomia e la proprietà del controllo qualità internamente e usa un fornitore per l'esecuzione su larga scala.
Avvolgere Up
Perché i team lavorano con Shaip
Shaip aiuta le organizzazioni a creare dati di formazione di alta qualità per la visione artificiale combinando linee guida di annotazione chiare, controllo qualità misurabile e flussi di lavoro di distribuzione sicuri. Che abbiate bisogno di riquadri di delimitazione, poligoni/maschere, punti chiave, polilinee o annotazioni video, i nostri team possono supportare il vostro progetto con operazioni scalabili e standard di qualità coerenti.
Che cosa ci si può aspettare:
- Supporto per l'etichettatura complessa e specifica del dominio con linee guida ed esempi documentati.
- Processi di controllo qualità progettati in base al tuo compito (campionamento di audit, flussi di lavoro dei revisori, criteri di accettazione).
- Gestione sicura dei dati sensibili con accesso controllato e tracciabilità.
- Risultati con versioni diverse e report chiari, così il tuo team ML può procedere più rapidamente.
Se lo desideri, possiamo esaminare il tuo caso d'uso e consigliarti l'approccio di etichettatura e il piano di controllo qualità più convenienti.
Parliamo
Domande frequenti (FAQ)
L'annotazione delle immagini è un sottoinsieme dell'etichettatura dei dati che è anche noto con il nome di etichettatura, trascrizione o etichettatura delle immagini che coinvolge gli esseri umani nel back-end, etichettando instancabilmente le immagini con informazioni sui metadati e attributi che aiuteranno le macchine a identificare meglio gli oggetti.
An strumento di annotazione/etichettatura delle immagini è un software che può essere utilizzato per etichettare le immagini con informazioni sui metadati e attributi che aiuteranno le macchine a identificare meglio gli oggetti.
I servizi di etichettatura/annotazione delle immagini sono servizi offerti da fornitori di terze parti che etichettano o annotano un'immagine per tuo conto. Offrono le competenze richieste, l'agilità di qualità e la scalabilità come e quando richiesto.
Un etichettato/immagine annotata è uno che è stato etichettato con metadati che descrivono l'immagine rendendola comprensibile dagli algoritmi di apprendimento automatico.
Annotazione dell'immagine per l'apprendimento automatico o il deep learning è il processo di aggiunta di etichette o descrizioni o di classificazione di un'immagine per mostrare i punti dati che vuoi che il tuo modello riconosca. In breve, sta aggiungendo metadati rilevanti per renderlo riconoscibile dalle macchine.
Annotazione dell'immagine implica l'utilizzo di una o più di queste tecniche: riquadri di delimitazione (2-d, 3-d), landmark, poligoni, polilinee, ecc.