Punti chiave
La svolta fu imparare le caratteristiche dai dati grezzi, non limitarsi ad accumulare strati.
La macchina individua schemi. Spesso, nel machine learning tradizionale, spettava alle persone indicare le caratteristiche utili prima che un modello potesse classificare i dati. Il progresso fondamentale del deep learning è stato imparare tali caratteristiche dagli esempi, procedendo da schemi semplici a schemi più complessi. Non ha fatto sì che le macchine capissero ogni cosa, ma ha ridotto un importante collo di bottiglia umano: decidere in anticipo quali aspetti dell’input sono rilevanti.
Un confronto sorprendente. Nella competizione ImageNet del 2012, il sistema di deep learning del team SuperVision registrò un tasso di errore di circa il 15,3 per cento, contro circa il 26,2 per cento del team successivo. In un esperimento distinto di Google, una rete addestrata su 10 milioni di immagini tratte da video di YouTube imparò a identificare i gatti senza etichette. Nel loro insieme, questi risultati mostrarono il potenziale delle rappresentazioni apprese su larga scala.
La distinzione sta tra automatizzare una decisione e automatizzare una parte della rappresentazione su cui si basa il processo decisionale. Ecco perché la svolta fu importante ben oltre un marginale aumento della precisione: un sistema poteva apprendere descrizioni intermedie utili al proprio compito, anziché dipendere interamente da misurazioni progettate dagli esseri umani. Ciò nonostante, le caratteristiche apprese non eliminano il giudizio umano. Sono le persone a scegliere i dati, le etichette, l’obiettivo e la definizione di successo. Il lavoro si sposta a monte: dal progettare a mano ogni caratteristica al definire il problema di addestramento e verificare ciò che il modello ha effettivamente imparato.
La storia dell’IA insegna che le regole non possono prevedere un mondo mutevole e senza confini.
Due vicoli ciechi del passato. Agli inizi, l’IA spesso esplorava le possibilità servendosi di regole scritte dagli esseri umani. Questo funzionava nei giochi con un ambito circoscritto, in cui le mosse legali e gli obiettivi erano noti, ma si rivelava inadeguato nelle situazioni quotidiane, ricche di dettagli pertinenti e irrilevanti in quantità innumerevole. Il libro chiama questo problema problema di inquadramento: una macchina non riesce facilmente a stabilire quali fatti siano importanti per un determinato compito. Un approccio successivo tentò di codificare le conoscenze in forme elaborabili dalle macchine. Tuttavia, i soli simboli non fornivano alla macchina i concetti che rappresentavano. Questa difficoltà è chiamata problema dell’ancoraggio dei simboli.
Una strada diversa. Il machine learning spostò l’attenzione dalla scrittura di ogni singola regola alla ricerca di schemi statistici negli esempi. L’apprendimento supervisionato usa esempi abbinati alle risposte; quello non supervisionato cerca strutture negli esempi senza etichette fornite. Nessuno dei due approcci conferisce un’intelligenza simile a quella umana, ma entrambi permettono ai sistemi di reagire a schemi che non sono stati esplicitati sotto forma di regole.
La storia offre un utile strumento diagnostico: quando un sistema fallisce, chiediamoci se gli manca una regola, la rappresentazione adeguata o un modo per selezionare le informazioni pertinenti. Sono problemi diversi, che richiedono rimedi diversi. Questo contrasto mette anche in guardia dal considerare un output fluente della macchina come prova di una comprensione fondata. Un modello può generalizzare schemi attraverso molti casi senza avere comunque una spiegazione affidabile del perché un fatto sia importante in una situazione specifica.
Addestra le reti profonde per fasi, prima di chiedere a un unico modello gigantesco di imparare.
La profondità creava difficoltà. Un percettrone a un solo strato può separare i dati con un confine lineare, ma non riesce a risolvere nemmeno il semplice schema XOR, in cui gli input identici situati agli angoli opposti appartengono alla stessa classe. Aggiungere strati nascosti permette a una rete di rappresentare relazioni più complesse. Tuttavia, addestrare insieme molti strati poteva far sì che il segnale di apprendimento svanisse prima di raggiungere quelli iniziali: una difficoltà nota come problema del gradiente evanescente.
Costruire dal basso verso l’alto, poi correggere. Le Deep Belief Net e gli autoencoder denoising impilati affrontavano il problema con il pre-addestramento strato per strato: ogni strato apprende una rappresentazione e il suo output diventa l’input dello strato successivo. La messa a punto regola poi l’intera rete per un compito con etichette. Un altro approccio usa il dropout, che rimuove casualmente alcune unità durante l’addestramento, e le funzioni di attivazione ReLU, che evitano la saturazione associata alle funzioni sigmoidi. Questi metodi offrono modi diversi per addestrare più efficacemente le reti profonde.
L’approccio per fasi è una risposta pratica a un problema di ottimizzazione, non l’affermazione che gli strati diventino significativi naturalmente, solo perché vengono impilati. Suggerisce una domanda ingegneristica produttiva: quale segnale può apprendere ciascuna parte del sistema prima di mettere a punto l’intero modello? Anche i metodi di pre-addestramento più datati descritti nel capitolo sono istruttivi dal punto di vista storico, anche quando una specifica applicazione predilige altre tecniche. L’idea duratura è diagnosticare come l’informazione e i segnali di apprendimento attraversano una rete, invece di presumere che aggiungere profondità la migliori automaticamente.
Non toccare mai i dati di test, altrimenti la precisione diventa un’illusione lusinghiera.
Separare l’apprendimento dalla valutazione. I dati di addestramento insegnano al modello a riconoscere schemi; i dati di test stimano come si comporta con esempi che non ha mai visto. Riutilizzare gli stessi esempi per entrambe le fasi può far sembrare impressionanti le prestazioni senza mostrare se il modello generalizza. L’esempio dei prezzi azionari proposto dal libro rende concreto il pericolo: addestrare e testare usando gli stessi anni può premiare un modello perché riconosce una storia familiare, non perché prevede periodi sconosciuti.
Verificare più di una suddivisione. Il modello può adattarsi eccessivamente al rumore o alle peculiarità del campione di addestramento. La validazione incrociata K-fold riduce la dipendenza da una suddivisione fortunata: i dati vengono divisi in K gruppi, si ripetono addestramento e test tenendo ogni volta da parte un gruppo diverso, poi si calcola la media dei risultati. Nella classificazione, la sola accuratezza può nascondere errori importanti: precisione e richiamo distinguono i falsi allarmi dai casi positivi mancati. Un punteggio alto va esaminato, non festeggiato.
La valutazione fa parte del modello: non è burocrazia da sbrigare dopo aver concluso il lavoro interessante. La suddivisione dei dati esprime un’ipotesi sul futuro: che gli esempi di domani somiglino, sotto aspetti rilevanti, ai dati lasciati fuori. Se l’impiego del modello comporta cambiamenti di tempo, luogo o popolazione, una suddivisione casuale può rassicurare senza mettere alla prova la vera difficoltà. L’insistenza del libro sulla separazione è fondamentale; la domanda successiva è se il disegno del test somigli alle condizioni in cui qualcuno si affiderà davvero alla previsione.
Usa le convoluzioni per le immagini e la ricorrenza per le sequenze, non un solo modello per tutto.
Conservare la struttura dell’immagine. Una rete neurale convoluzionale applica filtri appresi a regioni locali di un’immagine, generando mappe di caratteristiche. Il pooling riduce le dimensioni delle mappe conservando i segnali più forti, e aiuta il modello a gestire piccoli spostamenti dell’oggetto. A differenza di una rete completamente connessa, che tratta ogni pixel come un input indipendente, la convoluzione sfrutta le relazioni locali e filtri condivisi. L’esempio in Java del libro implementa queste operazioni prima di appiattire le caratteristiche estratte, così da usarle in un classificatore standard.
Preservare il contesto della sequenza. Le reti neurali ricorrenti trasferiscono informazioni da un passo temporale al successivo, consentendo di interpretare una parola in relazione a quelle che la precedono. La retropropagazione nel tempo addestra la sequenza srotolata, ma può essere difficile preservare dipendenze a lungo termine. Le reti a memoria a lungo e breve termine aggiungono celle di memoria con porte, che regolano ciò che viene conservato, reso disponibile o scartato. La lezione architetturale è abbinare la struttura del modello alle relazioni presenti nei dati.
L’architettura codifica un’ipotesi utile sul mondo. La convoluzione presume che contino la vicinanza tra i pixel e il ripetersi di schemi visivi; la ricorrenza presume che siano importanti l’ordine e il contesto precedente. Queste ipotesi possono rendere l’apprendimento più efficiente, ma non sono neutrali: una scelta inadatta può nascondere proprio il segnale di cui il modello ha bisogno. È un punto di partenza più chiaro che chiedersi quale architettura sia di moda. Prima si individuano le relazioni presenti nell’input, poi si sceglie una struttura in grado di rappresentarle.
Considera il deep learning uno specialista costoso, non un miglioramento universale.
Le prestazioni dipendono dalle condizioni. Le reti profonde hanno molti parametri da regolare: numero di strati, numero di unità, tassi di apprendimento e impostazioni specifiche dell’architettura, come la dimensione dei filtri. Possono richiedere molti dati e notevole potenza di calcolo; inoltre, l’addestramento può durare molto più a lungo dell’applicazione di un modello già pronto. Il libro cita il primo esperimento di Google per riconoscere i gatti, che richiese tre giorni su 1.000 computer, come esempio dell’infrastruttura che l’apprendimento su larga scala poteva richiedere.
Confrontalo con strumenti più semplici. Per un negozio online che aggiorna ogni giorno i dati sugli acquisti, un metodo più semplice come il filtraggio collaborativo può fornire consigli utili e richiedere meno tempo per l’aggiornamento. Il deep learning è più interessante quando il problema è difficile, è arduo specificare caratteristiche utili e ci sono dati sufficienti per addestrare il modello. La scelta del modello comporta un compromesso tra precisione, dati, calcolo e velocità con cui occorre aggiornare i risultati.
Un modello tecnicamente più potente non è automaticamente un prodotto migliore. Il criterio pertinente è stabilire se la maggiore precisione cambia una decisione a sufficienza da giustificare l’addestramento, la manutenzione, la latenza e la complessità operativa. Si tratta di selezionare un modello tenendo conto dei vincoli, non di una gara di prestigio algoritmico. Il confronto del libro con dati commerciali in continuo mutamento mette in luce un punto più generale: la qualità del modello dipende tanto dal ritmo dell’applicazione quanto dalla forma dei dati.
Traduci le domande difficili del mondo reale in output che un modello possa davvero apprendere.
Riformulare l’obiettivo. Una rete neurale ha bisogno di un output definito, ma molte domande reali non si prestano naturalmente a un insieme fisso di classi. Il libro usa la previsione dei prezzi azionari per mostrare come restringere un obiettivo ampio: invece di prevedere un prezzo futuro esatto, si può classificare il movimento come rialzo o ribasso, oppure assegnarlo a una di diverse fasce. Questo non garantisce una previsione utile; rende il problema esprimibile come un compito di classificazione e, quindi, verificabile.
Progettare anche l’input. I prezzi grezzi possono variare notevolmente, mentre le variazioni percentuali giornaliere restano entro un intervallo più gestibile. Il libro raggruppa questo lavoro in due approcci: adattare input e output al modello, oppure adattare il modello alle caratteristiche. Propone anche un approccio orientato all’output: un sistema di deep learning potrebbe essere utile per ottenere un risultato espressivo o artistico, non soltanto per raggiungere il punteggio di classificazione più alto.
Riformulare è potente perché un modello può ottimizzare solo l’obiettivo che gli viene assegnato, non l’intenzione più ampia che ne sta alla base. Ma un obiettivo comodo può diventare un indicatore fuorviante. Prevedere la direzione invece del prezzo cambia la domanda, e un modello che risponde bene alla domanda più circoscritta potrebbe comunque non aiutare a prendere una decisione redditizia o sicura. Occorre specificare con rigore cosa conserva e cosa scarta il compito trasformato, e come verrà usato il risultato.
Usa le librerie per realizzare soluzioni su larga scala, ma conserva abbastanza teoria per valutarle.
Le librerie evitano il lavoro infrastrutturale. Il libro presenta ND4J per gli array numerici e DL4J per creare e addestrare modelli di deep learning in Java. Passa inoltre in rassegna Theano, TensorFlow e Caffe, strumenti che offrivano metodi diversi per calcolare i gradienti, definire modelli, visualizzare l’addestramento o configurare reti. Negli esempi, un modello può essere assemblato a partire da strati e addestrato con iteratori di dati, invece di implementare a mano ogni operazione.
La comodità ha un prezzo. Una libreria potrebbe non includere un algoritmo necessario, cambiare interfaccia o produrre risultati diversi a causa delle variazioni nelle implementazioni e nei calcoli numerici. Il codice scritto da zero offre più controllo, ma rende anche lo sviluppatore responsabile della regolazione, delle prestazioni e della manutenzione. Il consiglio pratico del libro è capire abbastanza bene il metodo sottostante da accorgersi quando le impostazioni predefinite, le funzionalità supportate o i risultati di una libreria non sono adatti al compito.
Una libreria costituisce un confine di astrazione: fa risparmiare fatica nascondendo i dettagli d’implementazione, ma rende meno visibili alcune decisioni. Il livello di comprensione giusto non richiede necessariamente di saper ricostruire ogni operazione, ma una competenza sufficiente per esaminare il flusso dei dati, la valutazione e le ipotesi adottate. Va inoltre tenuto presente un limite legato al tempo: il libro descrive l’ecosistema software del 2016 e versioni specifiche. I suoi principi ingegneristici resistono meglio delle istruzioni d’installazione o dei confronti tra librerie.
Lascia che l’IA scopra schemi, mentre gli esseri umani scelgono le sue conoscenze e i suoi scopi.
Una vittoria può insegnare. Nel 2016, AlphaGo di Google DeepMind sconfisse il giocatore professionista Lee Sedol per quattro partite a una. Il risultato non fu l’unico aspetto notevole: il sistema usava reti neurali profonde insieme alla ricerca su alberi e all’apprendimento per rinforzo, e il suo gioco mise in luce strategie che le persone potevano studiare. Il libro presenta la vicenda come un rapporto di complementarità: le macchine possono esplorare e apprendere schemi su larga scala, mentre le persone decidono quali problemi porre e quali conoscenze fornire.
Le scelte di addestramento determinano gli esiti. Il chatbot Tay di Microsoft imparava dalle interazioni pubbliche e cominciò a produrre contenuti discriminatori dopo che alcuni utenti gli avevano fornito input dannosi. L’esempio mostra che il comportamento di un sistema rispecchia l’ambiente di addestramento, non una bussola morale indipendente. La responsabilità pratica comprende quindi la scelta dei dati, la previsione degli abusi e la definizione degli output accettabili. Il deep learning può ampliare le capacità umane, ma non può scegliere al posto dell’umanità fini rispettosi della dignità umana.
Gli esempi di AlphaGo e Tay si completano a vicenda: l’apprendimento può sorprendere in modi preziosi, mentre l’esposizione ai dati può generare comportamenti non voluti dai progettisti. Nessuno dei due esiti rende un sistema autonomo nel pieno senso umano del termine. Sono sempre le persone a costruire l’ambiente di apprendimento, i criteri di ricompensa e i canali di impiego. La questione fondamentale di governance non è semplicemente se un modello sia preciso, ma chi ne definisce l’obiettivo, chi paga il prezzo dei suoi errori e chi può intervenire.
Analisi
Questo libro si legge al meglio come un ponte dall’intuizione sul machine learning alla sua implementazione, non come un’esposizione completa dell’intelligenza. Il filo conduttore più solido è il passaggio dalla definizione manuale delle caratteristiche all’apprendimento di rappresentazioni tramite calcoli a più strati. I capitoli storici rendono chiaro questo passaggio: la ricerca basata su regole fatica a individuare ciò che conta negli ambienti aperti, la conoscenza simbolica non ha un significato fondato e il machine learning tradizionale dipende molto dalla progettazione umana delle caratteristiche. I capitoli tecnici mostrano poi come la struttura delle reti, le procedure di addestramento e la scelta dei dati affrontino specifici colli di bottiglia.
L’ampiezza del libro è al tempo stesso un pregio e un limite. In un’unica sequenza guidata, il lettore incontra percettroni, RBM, autoencoder denoising, dropout, CNN, RNN, LSTM, librerie Java e progettazione di applicazioni. È utile per uno sviluppatore in cerca di un orientamento concettuale, ma a volte gli esempi presentano implementazioni semplificate come se fossero più vicine alla pratica di produzione di quanto non siano. Per questo, l’insistenza ricorrente dell’autore sulla validazione, sulla regolazione dei parametri e sull’adeguatezza al compito è più durevole di qualsiasi specifico esempio di codice.
Il libro riflette anche il suo contesto del 2016. La trattazione del pre-addestramento strato per strato coglie un’importante risposta storica alle difficoltà di addestrare reti profonde, mentre la pratica del settore si è poi evoluta ben oltre i metodi specifici messi in risalto qui. Analogamente, gli strumenti Java e Python citati, le versioni e i consigli per l’installazione vanno considerati storici, non raccomandazioni attuali. La lezione più profonda sopravvive a questi cambiamenti: le architetture incorporano ipotesi, i dati di addestramento determinano le prove a disposizione del modello e la valutazione deve simulare le condizioni d’uso.
La lettura moderna più utile, di conseguenza, non è né trionfalistica né sprezzante. Il deep learning non conduce all’intelligenza generale solo perché un sistema apprende caratteristiche, ma non è neppure semplicemente un classificatore più veloce. È una famiglia di metodi capaci di individuare rappresentazioni interne utili quando il compito, i dati e le risorse sono ben allineati. Il contributo pratico del libro consiste nell’insegnare ai lettori a chiedersi che cosa occorra rappresentare, che cosa si possa misurare e quali scelte umane restino nascoste dentro una previsione apparentemente automatica.
Sintesi delle recensioni
null
Altri hanno letto anche
Glossario
ingegneria delle caratteristiche
Input del modello progettati dagli esseri umaniL’ingegneria delle caratteristiche consiste nel trasformare informazioni grezze in variabili misurabili che un modello di apprendimento automatico possa utilizzare. Negli esempi del libro, sono le persone a decidere quali caratteristiche distinguono i gatti dalle persone o quali dettagli sui clienti sono correlati ai comportamenti d’acquisto. Il deep learning può apprendere caratteristiche utili dagli esempi, ma non elimina la necessità di scegliere i dati, definire un compito e verificare che cosa ha appreso il modello.
problema di inquadramento
Selezione dei fatti rilevanti per il compitoIl problema di inquadramento è la difficoltà di decidere quali fatti e possibili conseguenze siano rilevanti nello svolgimento di un compito. Un sistema basato sulla ricerca può trovarsi davanti a troppe situazioni possibili da esaminare in tempi ragionevoli. Il problema è gestibile in un gioco circoscritto con regole definite, ma diventa grave in un mondo aperto, dove i dettagli rilevanti e quelli irrilevanti non sono specificati in anticipo.
problema dell’ancoraggio dei simboli
Collegamento tra simboli e concettiIl problema dell’ancoraggio dei simboli descrive la distanza tra manipolare un simbolo e capire che cosa rappresenta. Una macchina può confrontare una parola con altre voci di una base di conoscenza e tuttavia non possedere il concetto associato a quella parola. Il libro usa l’esempio di una mela verde per distinguere la comprensione umana dell’oggetto dall’elaborazione di simboli collegati da parte di una macchina.
pre-addestramento
Apprendimento strato per stratoIl pre-addestramento è una fase in cui gli strati di una rete profonda vengono addestrati singolarmente, di solito senza etichette relative al compito, prima di adattare l’intera rete a un compito specifico. Ogni strato apprende una rappresentazione a partire dall’output dello strato precedente. Negli esempi del libro con DBN e SDA, questo processo graduale aiuta a inizializzare le reti profonde prima della messa a punto supervisionata.
messa a punto
Adattamento della rete a un compito specificoLa messa a punto è l’adattamento supervisionato di una rete pre-addestrata a un compito obiettivo. Si aggiunge uno strato di output con etichette e l’apprendimento aggiorna i suoi parametri e, spesso, anche quelli degli strati precedenti. Nel resoconto del libro, questo passaggio trasforma le rappresentazioni apprese durante il pre-addestramento in una rete capace di classificare esempi per uno scopo definito.
macchine di Boltzmann ristrette (Restricted Boltzmann Machines, RBM)
Apprenditore di caratteristiche basato sull’energiaUna RBM è un modello di rete neurale con unità visibili e nascoste collegate tra due strati, ma senza collegamenti tra unità dello stesso strato. Questa restrizione rende il modello più trattabile di una macchina di Boltzmann completamente connessa. Nelle Deep Belief Nets, le RBM vengono addestrate strato per strato per apprendere rappresentazioni dai dati di input.
autoencoder denoising (Denoising Autoencoders, DA)
Ricostruzione di input corrottiUn autoencoder denoising apprende a recuperare un input originale dopo che alcune delle sue informazioni sono state deliberatamente corrotte. Codifica l’input danneggiato in una rappresentazione nascosta, poi decodifica tale rappresentazione per ricostruirlo. L’addestramento premia le ricostruzioni che somigliano all’originale non corrotto, incoraggiando lo strato nascosto a conservare gli schemi che resistono al rumore aggiunto.
dropout
Rimozione casuale di unità durante l’addestramentoIl dropout è un metodo di addestramento che disattiva casualmente alcune unità della rete a ogni passaggio di addestramento. Le unità rimanenti devono apprendere senza fare affidamento su un insieme fisso di unità con cui collaborare; ciò può ridurre l’overfitting e rendere la rete meno dipendente da percorsi specifici. In fase di test, si usa la rete addestrata senza eliminare casualmente unità, regolando i pesi per tenere conto dell’addestramento.
reti neurali convoluzionali (Convolutional Neural Networks, CNN)
Reti per schemi spazialiUna rete neurale convoluzionale elabora dati spaziali, in particolare immagini, usando filtri appresi che si spostano attraverso regioni locali. Questi filtri producono mappe di caratteristiche, le cui dimensioni possono essere ridotte tramite il pooling, conservando al contempo le attivazioni più marcate. Le connessioni locali e i filtri condivisi aiutano la rete a riconoscere schemi nonostante modesti cambiamenti di posizione, prima che le caratteristiche estratte vengano passate a un classificatore.
rete neurale ricorrente (Recurrent Neural Network, RNN)
Rete con contesto sequenzialeUna rete neurale ricorrente elabora input sequenziali passando informazioni da un passo temporale al successivo attraverso connessioni ricorrenti. In questo modo il modello può usare il contesto precedente quando elabora dati successivi, come le parole di una frase. L’addestramento di solito srotola la rete nel tempo e propaga gli errori attraverso i vari passi: un processo chiamato retropropagazione nel tempo (Backpropagation through Time).
rete a memoria a lungo e breve termine (Long short term memory, LSTM)
Memoria a lungo termine regolata da porteUna rete LSTM è un tipo di rete ricorrente progettato per conservare informazioni utili attraverso sequenze più lunghe. Le sue celle di memoria usano porte per controllare quali informazioni entrano, quali vengono esposte in output e quali vengono dimenticate. Questa struttura affronta le difficoltà che le reti ricorrenti standard incontrano nell’apprendere dipendenze a lungo raggio, anche se non garantisce che tutto il contesto venga conservato.
retropropagazione nel tempo (Backpropagation through Time, BPTT)
Propagazione degli errori nella sequenzaLa retropropagazione nel tempo addestra una rete ricorrente srotolandone i calcoli ripetuti lungo le posizioni della sequenza e propagando gli errori all’indietro attraverso i passi temporali. Calcola in che modo i parametri condivisi della rete hanno contribuito agli errori lungo la sequenza. Poiché le sequenze lunghe aumentano i calcoli e possono causare gradienti che svaniscono o esplodono, spesso le implementazioni limitano il numero di passi usati per la retropropagazione.
Scarica PDF
Scarica EPUB
.epub è ideale per leggere ebook su telefoni, tablet ed e-reader.