La chiave per superare gli ostacoli allo sviluppo dell'IA

Dati più affidabili

Introduzione

L'intelligenza artificiale ha iniziato a catturare l'immaginazione quando l'uomo di latta de "Il mago di Oz" è apparso sul grande schermo nel 1939, e da allora ha solo guadagnato un punto d'appoggio più saldo nello spirito del tempo. In applicazione, tuttavia, i prodotti di intelligenza artificiale hanno attraversato regolari cicli di boom and bust che hanno finora ostacolato le adozioni più influenti.

Durante il boom, ingegneri e ricercatori hanno fatto passi da gigante, ma quando le loro aspirazioni superano inevitabilmente le capacità informatiche disponibili all'epoca, è seguito un periodo di dormienza. Fortunatamente, l'aumento esponenziale della potenza di calcolo profetizzato dalla legge di Moore nel 1965 si è per la maggior parte dimostrato accurato, e il significato di questo aumento è difficile da sopravvalutare.

Ostacoli allo sviluppo dell'IA
Leggi l'eBook: La chiave per superare gli ostacoli allo sviluppo dell'IA, o scarica una versione PDF dell'eBook.

La chiave per superare gli ostacoli allo sviluppo dell'IA: dati più affidabili

Oggi, la persona media ha ora in tasca una potenza di calcolo milioni di volte superiore a quella che la NASA aveva per realizzare l'allunaggio nel 1969. Lo stesso dispositivo onnipresente che dimostra convenientemente un'abbondanza di potenza di calcolo soddisfa anche un altro prerequisito per l'età dell'oro dell'IA: un'abbondanza di dati. Secondo gli approfondimenti dell'Information Overload Research Group, il 90% dei dati mondiali è stato creato negli ultimi due anni. Ora che la crescita esponenziale della potenza di calcolo è finalmente convergente con una crescita altrettanto fulminea nella generazione di dati, le innovazioni dei dati AI stanno esplodendo così tanto che alcuni esperti pensano che daranno il via a una quarta rivoluzione industriale.

I dati della National Venture Capital Association indicano che il settore dell'IA ha registrato un investimento record di 6.9 miliardi di dollari nel primo trimestre del 2020. Non è difficile vedere il potenziale degli strumenti di intelligenza artificiale perché è già sfruttato intorno a noi. Alcuni dei casi d'uso più visibili per i prodotti AI sono i motori di raccomandazione dietro le nostre applicazioni preferite come Spotify e Netflix. Sebbene sia divertente scoprire un nuovo artista da ascoltare o un nuovo programma TV da guardare in modo abbuffato, queste implementazioni sono piuttosto basse. Altri algoritmi valutano i punteggi dei test - determinando in parte dove gli studenti sono ammessi al college - e altri ancora setacciano i curriculum dei candidati, decidendo quali candidati ottengono un lavoro particolare. Alcuni strumenti di intelligenza artificiale possono persino avere implicazioni sulla vita o sulla morte, come il modello di intelligenza artificiale che esegue lo screening del cancro al seno (che supera i medici).

Nonostante la crescita costante sia degli esempi reali di sviluppo dell'IA che del numero di startup in lizza per creare la prossima generazione di strumenti di trasformazione, permangono sfide per uno sviluppo e un'implementazione efficaci. In particolare, l'output dell'IA è accurato solo quanto consentito dall'input, il che significa che la qualità è fondamentale.

Ostacoli allo sviluppo dell'IA

La sfida della qualità dei dati incoerente nelle soluzioni di intelligenza artificiale

Ogni giorno viene infatti generata un'incredibile quantità di dati: 2.5 quintilioni di byte, secondo Social Media Today. Ma ciò non significa che sia tutto degno di addestrare il tuo algoritmo. Alcuni dati sono incompleti, altri di bassa qualità e altri semplicemente imprecisi, quindi l'utilizzo di queste informazioni errate risulterà nelle stesse caratteristiche della tua (costosa) innovazione dei dati AI. Secondo una ricerca di Gartner, circa l'85% dei progetti di intelligenza artificiale creati entro il 2022 produrrà risultati imprecisi a causa di dati distorti o imprecisi. Mentre puoi facilmente saltare una raccomandazione di un brano che non soddisfa i tuoi gusti, altri algoritmi imprecisi hanno un costo finanziario e di reputazione significativo.

Nel 2018, Amazon ha iniziato a utilizzare uno strumento di assunzione basato sull'intelligenza artificiale, in produzione dal 2014, che aveva un forte e inconfondibile pregiudizio nei confronti delle donne. Si scopre che i modelli informatici alla base dello strumento sono stati addestrati utilizzando i curriculum presentati all'azienda nell'arco di un decennio. Poiché la maggior parte dei candidati alla tecnologia erano uomini (e lo sono tuttora, forse a causa di questa tecnologia), l'algoritmo ha deciso di penalizzare i curriculum con "donne" inclusi ovunque, ad esempio il capitano di calcio femminile o il gruppo di affari femminile. Ha anche deciso di penalizzare le ricorrenti di due college femminili. Amazon afferma che lo strumento non è mai stato utilizzato come unico criterio per valutare i potenziali candidati, ma i reclutatori hanno esaminato il motore di raccomandazione durante la ricerca di nuove assunzioni.

Lo strumento di assunzione di Amazon è stato infine demolito dopo anni di lavoro, ma la lezione indugia, evidenziando l'importanza della qualità dei dati durante l'addestramento di algoritmi e strumenti di intelligenza artificiale. Che aspetto hanno i dati di "alta qualità"? In breve, seleziona queste cinque caselle:

1. Rilevante

Per essere considerati di alta qualità, i dati devono apportare qualcosa di prezioso al processo decisionale. C'è una correlazione tra lo stato di un candidato di lavoro come saltatore con l'asta campione dello stato e le sue prestazioni sul lavoro? È possibile, ma sembra molto improbabile. Eliminando i dati non rilevanti, un algoritmo può concentrarsi sull'ordinamento delle informazioni che influiscono effettivamente sui risultati.

2. Accurato

I dati che stai utilizzando devono rappresentare accuratamente le idee che stai testando. Se no, non ne vale la pena. Ad esempio, Amazon ha addestrato il suo algoritmo di assunzione utilizzando 10 anni di curriculum dei candidati, ma non è chiaro se la società abbia confermato prima le informazioni fornite su quei curriculum. La ricerca della società di controllo di riferimento Checkster dimostra che il 78% dei candidati mente o prenderebbe in considerazione la possibilità di mentire su una domanda di lavoro. Se un algoritmo sta prendendo decisioni di raccomandazione utilizzando il GPA di un candidato, ad esempio, è una buona idea confermare prima l'autenticità di quei numeri. Questo processo richiederebbe tempo e denaro, ma migliorerebbe indiscutibilmente anche l'accuratezza dei risultati.

3. Organizzato e annotato correttamente

Nel caso di un modello di assunzione basato su curriculum, l'annotazione è relativamente facile. In un certo senso, un curriculum viene pre-annotato, anche se ci sarebbero senza dubbio delle eccezioni. La maggior parte dei candidati elenca la propria esperienza lavorativa in un'intestazione "Esperienza" e le competenze pertinenti in "Competenze". Tuttavia, in altre situazioni, come lo screening del cancro, i dati saranno molto più vari. Le informazioni potrebbero venire sotto forma di imaging medico, i risultati di uno screening fisico o anche una conversazione tra il medico e il paziente sulla storia sanitaria della famiglia e sui casi di cancro, tra le altre forme di dati. Affinché queste informazioni contribuiscano a un algoritmo di rilevamento accurato, devono essere organizzate e annotate con cura per garantire che il modello di intelligenza artificiale impari a fare previsioni accurate basate sulle giuste inferenze.

4. Aggiornato

Amazon stava tentando di creare uno strumento che consentisse di risparmiare tempo e denaro riproducendo le stesse decisioni di assunzione che gli esseri umani prendono in molto meno tempo. Per rendere le raccomandazioni il più accurate possibile, i dati dovrebbero essere mantenuti aggiornati. Se un'azienda una volta dimostrasse di preferire i candidati in grado di riparare macchine da scrivere, ad esempio, queste assunzioni storiche probabilmente non avrebbero molto a che fare con l'idoneità dei candidati odierni a qualsiasi tipo di ruolo. Di conseguenza, sarebbe saggio rimuoverli.

5. Opportunamente diversificato

Gli ingegneri di Amazon hanno scelto di addestrare un algoritmo con un pool di candidati che era prevalentemente di sesso maschile. Questa decisione è stata un errore critico, ed è reso non meno eclatante dal fatto che quelli erano i curriculum che l'azienda aveva a disposizione in quel momento. Gli ingegneri di Amazon avrebbero potuto collaborare con organizzazioni stimate con simili posizioni disponibili che avevano ricevuto più candidature di lavoro femminili per sopperire alla mancanza, o avrebbero potuto ridurre artificialmente il numero di curriculum degli uomini in modo che corrisponda al numero di donne e formato e guidato l'algoritmo con una rappresentazione più accurata della popolazione. Il punto sono quei dati la diversità è fondamentale e, a meno che non venga compiuto uno sforzo concertato per eliminare i pregiudizi negli input, gli output distorti lo faranno prevalere.

Chiaramente, i dati di alta qualità non appaiono dal nulla. Invece, deve essere attentamente curato tenendo a mente i risultati attesi. Nel campo dell'intelligenza artificiale, si dice spesso che "la spazzatura dentro significa spazzatura fuori". Questa affermazione è vera, ma sottostima in qualche modo l'importanza della qualità. L'intelligenza artificiale è in grado di elaborare quantità incredibili di informazioni e trasformarle in qualsiasi cosa, dalle scelte di azioni ai consigli di assunzione alle diagnosi mediche. Questa capacità supera di gran lunga le capacità degli esseri umani, il che significa anche che amplifica i risultati. Un reclutatore umano di parte potrebbe trascurare solo così tante donne, ma un reclutatore di intelligenza artificiale potrebbe trascurarle tutte. In questo senso, spazzatura in entrata non significa solo spazzatura fuori, significa che una piccola quantità di dati "spazzatura" può trasformarsi in un'intera discarica.

Superare gli ostacoli allo sviluppo dell'IA

Gli sforzi di sviluppo dell'IA includono ostacoli significativi, indipendentemente dal settore in cui si trovano, e il processo per passare da un'idea fattibile a un prodotto di successo è irto di difficoltà. Tra le sfide dell'acquisizione dei dati giusti e la necessità di renderli anonimi per conformarsi a tutte le normative pertinenti, può sembrare che costruire e addestrare un algoritmo sia effettivamente la parte facile.

Per offrire alla tua organizzazione tutti i vantaggi necessari nello sforzo di progettare un nuovo rivoluzionario sviluppo di intelligenza artificiale, ti consigliamo di prendere in considerazione la possibilità di collaborare con un'azienda come Shaip. Chetan Parikh e Vatsal Ghiya hanno fondato Shaip per aiutare le aziende a progettare i tipi di soluzioni che potrebbero trasformare l'assistenza sanitaria negli Stati Uniti Dopo oltre 16 anni di attività, la nostra azienda è cresciuta fino a includere più di 600 membri del team e abbiamo lavorato con centinaia di clienti per trasformare idee convincenti in soluzioni di intelligenza artificiale.

Con le nostre persone, processi e piattaforma che lavorano per la tua organizzazione, puoi sbloccare immediatamente i seguenti quattro vantaggi e catapultare il tuo progetto verso un risultato positivo:

1. La capacità di liberare i tuoi data scientist

La capacità di liberare i tuoi data scientist
Non c'è modo di aggirare il fatto che il processo di sviluppo dell'IA richieda un notevole investimento di tempo, ma puoi sempre ottimizzare le funzioni che il tuo team dedica più tempo a svolgere. Hai assunto i tuoi data scientist perché sono esperti nello sviluppo di algoritmi avanzati e modelli di apprendimento automatico, ma la ricerca dimostra costantemente che questi lavoratori trascorrono effettivamente l'80% del loro tempo a reperire, pulire e organizzare i dati che alimenteranno il progetto. Più di tre quarti (76%) degli scienziati dei dati riferiscono che questi processi banali di raccolta dei dati sono anche le parti meno preferite del lavoro, ma la necessità di dati di qualità lascia solo il 20% del loro tempo per lo sviluppo effettivo, il che è il lavoro più interessante e intellettualmente stimolante per molti data scientist. Acquistando i dati tramite un fornitore di terze parti come Shaip, un'azienda può lasciare che i suoi ingegneri di dati costosi e talentuosi esternalizzino il loro lavoro come custodi dei dati e invece dedicare il loro tempo alle parti delle soluzioni di intelligenza artificiale in cui possono produrre il massimo valore.

2. La capacità di ottenere risultati migliori

La capacità di ottenere risultati migliori Molti leader dello sviluppo dell'IA decidono di utilizzare dati open source o crowdsourcing per ridurre le spese, ma questa decisione finisce quasi sempre per costare di più nel lungo periodo. Questi tipi di dati sono prontamente disponibili, ma non possono eguagliare la qualità di set di dati accuratamente curati. I dati di crowdsourcing, in particolare, sono pieni di errori, omissioni e imprecisioni e, sebbene questi problemi a volte possano essere risolti durante il processo di sviluppo sotto gli occhi attenti dei tuoi ingegneri, sono necessarie ulteriori iterazioni che non sarebbero necessarie se iniziassi con un -Dati di qualità fin dall'inizio.

Fare affidamento sui dati open source è un'altra scorciatoia comune che presenta una serie di insidie. La mancanza di differenziazione è uno dei maggiori problemi, perché un algoritmo addestrato utilizzando dati open source è più facilmente replicabile rispetto a uno basato su set di dati concessi in licenza. Seguendo questa strada, inviti la concorrenza di altri concorrenti nello spazio che potrebbero sottoquotare i tuoi prezzi e conquistare quote di mercato in qualsiasi momento. Quando ti affidi a Shaip, accedi ai dati della massima qualità assemblati da una forza lavoro gestita e competente e possiamo concederti una licenza esclusiva per un set di dati personalizzato che impedisce ai concorrenti di ricreare facilmente la tua proprietà intellettuale conquistata a fatica.

3. Accesso a professionisti esperti

Accesso a professionisti esperti Anche se il tuo elenco interno include ingegneri esperti e data scientist di talento, i tuoi strumenti di intelligenza artificiale possono trarre vantaggio dalla saggezza che deriva solo dall'esperienza. I nostri esperti in materia hanno guidato numerose implementazioni di intelligenza artificiale nei loro campi e hanno appreso preziose lezioni lungo il percorso, e il loro unico obiettivo è aiutarti a raggiungere il tuo.

Con esperti di dominio che identificano, organizzano, categorizzano ed etichettano i dati per te, sai che le informazioni utilizzate per addestrare il tuo algoritmo possono produrre i migliori risultati possibili. Conduciamo anche regolari controlli di qualità per assicurarci che i dati soddisfino gli standard più elevati e funzionino come previsto non solo in un laboratorio, ma anche in una situazione reale.

4. Una sequenza temporale di sviluppo accelerata

Lo sviluppo dell'IA non avviene dall'oggi al domani, ma può avvenire più velocemente se collabori con Shaip. La raccolta e l'annotazione interna dei dati creano un collo di bottiglia operativo significativo che ostacola il resto del processo di sviluppo. Lavorare con Shaip ti dà accesso istantaneo alla nostra vasta libreria di dati pronti per l'uso e i nostri esperti saranno in grado di reperire qualsiasi tipo di input aggiuntivo di cui hai bisogno grazie alla nostra profonda conoscenza del settore e alla nostra rete globale. Senza l'onere di reperire e annotare, il tuo team può iniziare subito a lavorare sullo sviluppo effettivo e il nostro modello di formazione può aiutare a identificare le prime imprecisioni per ridurre le iterazioni necessarie per raggiungere gli obiettivi di precisione.

Se non sei pronto per esternalizzare tutti gli aspetti della gestione dei dati, Shaip offre anche una piattaforma basata su cloud che aiuta i team a produrre, modificare e annotare diversi tipi di dati in modo più efficiente, incluso il supporto per immagini, video, testo e audio . ShaipCloud include una varietà di strumenti di convalida e flusso di lavoro intuitivi, come una soluzione brevettata per tracciare e monitorare i carichi di lavoro, uno strumento di trascrizione per trascrivere registrazioni audio complesse e difficili e un componente di controllo della qualità per garantire una qualità senza compromessi. Soprattutto, è scalabile, quindi può crescere con l'aumento delle varie esigenze del tuo progetto.

L'era dell'innovazione dell'IA è solo all'inizio e nei prossimi anni vedremo incredibili progressi e innovazioni che hanno il potenziale per rimodellare interi settori o addirittura alterare la società nel suo insieme. In Shaip, vogliamo utilizzare la nostra esperienza per fungere da forza di trasformazione, aiutando le aziende più rivoluzionarie del mondo a sfruttare la potenza delle soluzioni di intelligenza artificiale per raggiungere obiettivi ambiziosi.

Abbiamo una profonda esperienza nelle applicazioni sanitarie e nell'IA conversazionale, ma abbiamo anche le competenze necessarie per addestrare modelli per quasi ogni tipo di applicazione. Per ulteriori informazioni su come Shaip può aiutarti a portare il tuo progetto dall'idea all'implementazione, dai un'occhiata alle numerose risorse disponibili sul nostro sito Web o contattaci oggi stesso.

Una linea temporale di sviluppo accelerata

Parliamo

  • Registrandoti, sono d'accordo con Shaip Informativa sulla Privacy ed Termini di Servizio e fornisco il mio consenso a ricevere comunicazioni di marketing B2B da Shaip.