IA conversazionale: riconoscimento vocale automatico

Soluzione

Grazie alla nostra profonda conoscenza dell'intelligenza artificiale conversazionale, abbiamo aiutato il cliente a raccogliere e trascrivere i dati audio con un team di esperti collezionisti, linguisti e annotatori per creare un ampio corpus di dati audio provenienti da parti remote dell'India.

L'ambito di lavoro di Shaip includeva, ma non si limitava, all'acquisizione di grandi volumi di dati di formazione audio, alla trascrizione dei dati e alla consegna dei file JSON corrispondenti contenenti i metadati [sia per i relatori che per i trascrittori. Per ciascun parlante, i metadati includono un ID parlante anonimo, dettagli del dispositivo, informazioni demografiche come sesso, età e istruzione, insieme al codice PIN, allo stato socioeconomico, alle lingue parlate e a una registrazione della durata del soggiorno. Per ogni trascrittore, i dati incorporano un ID trascrittore anonimo, dettagli demografici simili a quelli degli oratori, la durata dell'esperienza di trascrizione e un'analisi approfondita delle lingue che possono leggere, scrivere e parlare.

Shaip raccolto 8000 ore di dati audio/discorso spontaneo su larga scala e trascritto 800 ore mantenendo i livelli di qualità desiderati richiesti per addestrare la tecnologia vocale per progetti complessi. Il modulo di consenso esplicito è stato preso da ciascuno dei partecipanti. Il /Discorso spontaneo raccolto si è basato su immagini fornite dall'Università. Di 3500 immagini, 1000 sono generici e 2500 si riferiscono alla cultura, ai festival, ecc. specifici del distretto. Le immagini raffigurano vari ambiti come stazioni ferroviarie, mercati, condizioni meteorologiche e altro ancora.

Raccolta Dati

Linee guida generali

Formato

• • Audio a 16 kHz, 16 bit/campione.
  • Canale singolo.
  • Audio grezzo senza transcodifica.

Style

• • Discorso spontaneo.
  • Frasi basate su immagini fornite dall'Università. Delle 3500 immagini, 1000 sono generiche e 2500 si riferiscono a cultura, festival, ecc. specifici del distretto. Le immagini raffigurano vari ambiti come stazioni ferroviarie, mercati, condizioni meteorologiche e altro ancora.

Sfondo di registrazione

• • Registrato in un ambiente silenzioso e privo di eco.
  • Nessun disturbo dello smartphone (vibrazioni o notifiche) durante la registrazione.
  • Nessuna distorsione come ritaglio o effetti far-field.
  • Vibrazioni del telefono inaccettabili; le vibrazioni esterne sono tollerabili se l'audio è chiaro.

Specifiche dell'altoparlante

• • Fascia di età compresa tra 20 e 70 anni con distribuzione equilibrata di genere per distretto.
  • Minimo 400 madrelingua in ciascun distretto.
  • Gli oratori dovrebbero usare la loro lingua/dialetto di casa.
  • Moduli di consenso obbligatori per tutti i partecipanti.

Controllo qualità e garanzia di qualità critica

Il processo di QA dà priorità alla garanzia della qualità delle registrazioni e delle trascrizioni audio. Gli standard audio si concentrano su silenzi precisi, durata del segmento, chiarezza del singolo altoparlante e metadati dettagliati tra cui età e stato socioeconomico. I criteri di trascrizione enfatizzano l'accuratezza dei tag, la veridicità delle parole e i dettagli corretti del segmento. Il benchmark di accettazione stabilisce che se più del 20% di un batch audio non soddisfa questi standard, viene rifiutato. Per discrepanze inferiori al 20% sono necessarie registrazioni sostitutive con profili simili.

Trascrizione dei dati

Le linee guida per la trascrizione enfatizzano l'accuratezza e la trascrizione letterale solo quando le parole sono chiare e comprensibili; le parole poco chiare vengono contrassegnate come [incomprensibile] o [non udibile] in base al problema. I limiti delle frasi nell'audio lungo sono contrassegnati con , e non è consentita alcuna parafrasi o correzione di errori grammaticali. La trascrizione letterale copre errori, slang e ripetizioni ma omette false partenze, suoni di riempimento e balbettii. I rumori di sottofondo e di primo piano vengono trascritti con tag descrittivi, mentre i nomi propri, i titoli e i numeri seguono regole di trascrizione specifiche. Le etichette degli oratori vengono utilizzate per ogni frase e le frasi incomplete sono indicate con .

Flusso di lavoro del progetto

Il flusso di lavoro descrive il processo di trascrizione audio. Si inizia con l'onboarding e la formazione dei partecipanti. Registrano l'audio utilizzando un'app, che viene caricata su una piattaforma di QA. Questo audio è sottoposto a controlli di qualità e segmentazione automatica. Il team tecnico prepara quindi i segmenti per la trascrizione. Dopo la trascrizione manuale, c'è una fase di controllo della qualità. Le trascrizioni vengono consegnate al cliente e, se accettate, la consegna si ritiene completata. In caso contrario, le revisioni vengono effettuate in base al feedback del cliente.