Punti chiave
Usa l’apprendimento profondo quando i dati grezzi sono abbondanti e le caratteristiche progettate a mano non bastano.
Imparare dagli input grezzi. L’apprendimento profondo addestra grandi reti neurali affinché individuino schemi utili in dati complessi. A differenza dell’apprendimento automatico tradizionale, che spesso dipende da persone che progettano caratteristiche informative, l’apprendimento profondo può imparare le caratteristiche direttamente dagli input grezzi, come i pixel di un’immagine, i segnali vocali o il testo. Questa capacità è particolarmente preziosa quando i dati hanno molte dimensioni e gli esempi sono numerosi.
AlphaGo ha dimostrato il potenziale. Il Go ammette un numero enorme di possibili configurazioni della scacchiera, il che rende la ricerca molto più difficile che negli scacchi. AlphaGo usava reti neurali per valutare le posizioni e scegliere le mosse; nel 2016 sconfisse Lee Sedol. Il libro osserva che, in soli sette anni, il Go giocato dai computer è passato da un livello da dilettante avanzato a quello di campione del mondo. Questo balzo illustra ciò che il riconoscimento di schemi basato sui dati può ottenere se abbinato a notevoli risorse di calcolo.
La distinzione importante non è che una rete neurale elimini il giudizio umano, ma che ne sposti il ruolo verso la scelta del compito, dei dati e dei criteri di valutazione. Ciò può rendere potente l’apprendimento profondo nei campi in cui è difficile specificare in anticipo gli schemi utili. E rende anche facile esagerarne le capacità: il successo in un compito circoscritto come il Go non dimostra, di per sé, un’intelligenza generale. Il risultato è notevole proprio perché il sistema è specializzato, addestrato e valutato in un ambiente ben definito.
Considera ogni modello come una funzione appresa che mappa input in output, non come una mente.
Un modello mappa valori. Una funzione è una mappatura deterministica da input a output. Un filtro antispam associa un’e-mail a una decisione sul fatto che sia spam; un sistema di riconoscimento vocale associa un suono a un testo. Nell’apprendimento automatico, un modello è un programma per computer che codifica una funzione appresa dagli esempi. Una rete neurale è un modo per rappresentare quella funzione, mettendo insieme molti piccoli calcoli.
L’apprendimento avviene in due fasi. Durante l’addestramento, l’algoritmo modifica il modello affinché corrisponda agli esempi di un insieme di dati. Al termine dell’addestramento, il modello rimane fisso. Durante l’inferenza, applica la mappatura appresa a nuovi esempi e produce stime. La parola «apprendimento» può evocare una comprensione simile a quella umana, ma la descrizione tecnica del libro è più circoscritta: si regolano i parametri per migliorare la corrispondenza tra schemi di input e output attesi.
Questa distinzione aiuta a separare le prestazioni dalla comprensione. Un sistema può produrre output utili senza avere una spiegazione umana del perché siano sensati. La prospettiva funzionale offre anche una verifica pratica: individuare quali dati entrano, che cosa esce e a quale scopo dovrebbe servire l’output. Se questi confini sono vaghi, è difficile valutare le affermazioni sulle capacità di un modello. Il limite di una semplice descrizione in termini di mappatura è che può nascondere il significato sociale dei suoi output, soprattutto quando una previsione viene trattata come una decisione.
Prima di fidarti di una risposta, verifica i dati, le scelte di modellazione e il criterio di valutazione.
Tre ingredienti determinano l’apprendimento. Un progetto di apprendimento automatico ha bisogno di esempi, di un insieme di funzioni candidate e di una misura della capacità di ciascuna funzione di adattarsi ai dati. In pratica, le caratteristiche del dataset contano molto: se sono troppo poche, possono escludere informazioni utili; se sono irrilevanti o ridondanti, possono favorire l’individuazione di schemi spurii. Il libro osserva che la preparazione dei dati può assorbire fino all’80% del budget di un progetto.
Gli algoritmi incorporano delle ipotesi. Il bias induttivo è l’insieme di ipotesi che orienta un algoritmo verso alcune funzioni piuttosto che altre. In assenza di tali ipotesi, molte funzioni diverse possono adattarsi agli stessi pochi esempi. Un bias troppo forte può causare un sottoadattamento: il modello non coglie la complessità reale. Un bias troppo debole può causare sovradattamento: il modello impara il rumore presente nei dati di addestramento e funziona male su esempi nuovi.
È un utile correttivo all’idea che più dati producano automaticamente decisioni migliori. I dati devono rappresentare il compito e il criterio di valutazione deve premiare il comportamento che conta davvero. Un modello può ottimizzare la misura dichiarata senza cogliere lo scopo che dovrebbe servire; per questo la validazione tecnica e il giudizio di chi conosce il settore devono procedere insieme. I tre ingredienti descritti nel libro chiariscono anche dove concentrarsi: gli errori possono avere origine negli esempi, nella famiglia di modelli o nella definizione del successo.
Una rete diventa espressiva combinando calcoli semplici con attivazioni non lineari.
Ogni neurone è semplice. Un neurone artificiale moltiplica i propri input per dei pesi, somma i risultati e poi applica la somma a una funzione di attivazione. La funzione di attivazione introduce la non linearità, consentendo alla rete di rappresentare relazioni più complesse di una mappatura lineare. Senza di essa, anche la sovrapposizione di più strati produrrebbe soltanto una funzione lineare.
Gli strati costruiscono rappresentazioni. Ogni neurone trasforma le informazioni destinate allo strato successivo; così la rete può combinare schemi semplici e ricavarne altri più astratti. Nel riconoscimento delle immagini, i primi strati possono attivarsi in risposta a bordi o curve, mentre quelli più profondi li combinano in parti e poi in oggetti. Il problema logico XOR mostra perché questo è importante: un singolo neurone a soglia non può separare i casi vero e falso con un unico confine rettilineo, ma una rete multistrato può combinare risultati intermedi per rappresentarlo.
La prospettiva composizionale rende le reti neurali meno misteriose senza banalizzarle. La loro potenza deriva dalla disposizione di molte trasformazioni semplici, che consente al sistema nel suo insieme di rappresentare una mappatura complessa. È una strategia generale, simile a quelle impiegate in matematica e ingegneria: costruire un’operazione difficile a partire da componenti riutilizzabili. Tuttavia, le componenti ottenute non corrispondono necessariamente a concetti comprensibili per gli esseri umani. Uno strato può essere utile perché aiuta quello successivo a prevedere correttamente, non perché la sua rappresentazione interna abbia un’interpretazione evidente.
La profondità è utile solo se i segnali di addestramento raggiungono i primi strati della rete.
Il merito deve propagarsi all’indietro. Per addestrare una rete occorre determinare in che misura ciascun peso abbia contribuito all’errore finale, compresi i pesi distanti dall’output. La retropropagazione affronta questo problema di attribuzione del merito inviando all’indietro, attraverso la rete, informazioni sull’errore. Nelle reti profonde, però, le moltiplicazioni ripetute possono ridurre quel segnale. È il problema del gradiente evanescente: i primi strati ricevono aggiornamenti minimi e possono imparare molto lentamente.
I progressi pratici hanno dato una mano. La storia delle reti neurali è segnata da ripetute ondate di promesse e delusioni. Nel 1969, Minsky e Papert misero in luce i limiti dei percettroni a singolo strato, compresa l’incapacità di apprendere XOR. Le reti multistrato potevano rappresentare funzioni più ricche, ma addestrarle era difficile. Le attivazioni ReLU hanno aiutato i gradienti a propagarsi attraverso le unità attive, mentre una migliore inizializzazione dei pesi e le connessioni residue hanno favorito modelli più profondi. Queste tecniche hanno reso la profondità più facile da addestrare, non automaticamente più utile.
La profondità è una risorsa, non una garanzia. La rete deve ricevere un segnale di apprendimento utilizzabile, e sono l’architettura e le scelte di addestramento a determinare se quel segnale riesce a propagarsi. È una lezione più ampia sui sistemi complessi: aggiungere componenti aumenta la capacità, ma crea anche più occasioni perché il coordinamento fallisca. La ricostruzione storica, inoltre, si oppone a una narrazione semplicistica di progresso costante. Una rappresentazione promettente può restare impraticabile finché i metodi di addestramento, la disponibilità di dati e le risorse di calcolo non la rendono attuabile.
Adatta l’architettura ai dati: le immagini richiedono località, le sequenze memoria.
Le CNN riutilizzano rilevatori visivi. Una rete neurale convoluzionale applica lo stesso insieme di pesi, detto kernel, a piccole regioni distribuite nell’immagine. Ogni regione è un campo recettivo. Il riutilizzo dei pesi consente alla rete di rilevare una caratteristica ovunque compaia; la mappa delle caratteristiche risultante registra i punti in cui il rilevatore si è attivato. Il pooling può ridurre le dimensioni della mappa e scartare parte delle informazioni sulla posizione precisa. Gli strati più profondi combinano i rilevamenti locali in schemi visivi più complessi.
Le RNN trasmettono il contesto. Una rete neurale ricorrente elabora una sequenza un elemento alla volta, trasmettendo informazioni da un passaggio al successivo. Le unità di memoria a lungo termine e breve termine usano porte per controllare quali informazioni conservare, aggiornare o produrre, e aiutano a gestire le dipendenze a lungo raggio. Nella traduzione da sequenza a sequenza, una rete codifica la frase di partenza e un’altra genera la traduzione. Queste architetture incorporano nella rete ipotesi sulla struttura dei dati.
L’architettura è una forma di conoscenza a priori. Una CNN presuppone che contino la vicinanza tra i pixel e la ricorrenza di schemi visivi; una RNN presuppone che contino l’ordine della sequenza e il contesto precedente. Queste ipotesi restringono l’insieme delle funzioni possibili che il modello deve esplorare e possono rendere l’apprendimento più efficiente. Il compromesso è che un’ipotesi utile in un ambito può risultare limitante in un altro. La domanda di progettazione, quindi, non è semplicemente quale architettura sia più recente, ma quale struttura rispecchi meglio le regolarità significative del compito.
Addestra la rete propagando ogni errore all’indietro e poi procedendo a passi misurati in discesa.
La discesa del gradiente modifica i pesi. Un algoritmo di addestramento misura l’errore del modello e poi modifica i parametri in una direzione che dovrebbe ridurlo. Il tasso di apprendimento determina l’entità di ogni modifica: passi troppo ampi possono far oltrepassare il punto ottimale, mentre passi troppo piccoli possono rallentare l’addestramento. Per un semplice modello lineare, la superficie dell’errore può assomigliare a una conca e la ricerca può procedere verso il suo punto più basso.
La retropropagazione attribuisce le responsabilità. Per prima cosa, un esempio attraversa la rete in avanti e produce un output. L’algoritmo confronta quell’output con la risposta attesa, poi propaga all’indietro le informazioni sull’errore per stimare il contributo di ciascun neurone. La discesa del gradiente usa queste stime per aggiornare i pesi. Le reti neurali hanno superfici dell’errore complesse, con più avvallamenti, quindi l’addestramento non garantisce di trovare i pesi migliori in assoluto. Ripetere l’addestramento partendo da pesi iniziali diversi può aiutare a esplorare alternative.
I due algoritmi rispondono a domande diverse: la retropropagazione stima in che modo le modifiche incidono sull’errore, mentre la discesa del gradiente usa tali stime per modificare i parametri. Tenere chiara questa distinzione facilita la comprensione del processo di addestramento. La metafora della «discesa» è utile, ma può suggerire un paesaggio semplice e una destinazione certa. In un modello complesso il terreno può presentare molti minimi locali; il successo pratico consiste nel trovare una soluzione utile, non nel dimostrare di aver trovato la migliore possibile.
Riutilizza le caratteristiche apprese quando le etichette scarseggiano e tratta con cautela i dati sintetici.
Le etichette richiedono tempo e denaro. L’apprendimento supervisionato richiede esempi abbinati alle risposte corrette. ImageNet, che ha sostenuto importanti progressi nel riconoscimento delle immagini, contiene oltre 14 milioni di immagini annotate manualmente; più di un milione di esse è stato inoltre contrassegnato con la posizione degli oggetti. Ripetere un processo di etichettatura simile per ogni nuovo compito è costoso.
Il riutilizzo e la generazione offrono alternative. L’apprendimento per trasferimento riutilizza le informazioni apprese in un compito correlato. Per esempio, i primi strati di un modello preaddestrato per le immagini potrebbero già rilevare bordi e altre caratteristiche visive generali; un nuovo progetto può quindi adattare gli strati successivi usando un dataset etichettato più piccolo. Metodi non supervisionati come gli autoencoder imparano rappresentazioni utili senza etichette di riferimento. Le reti generative avversarie addestrano un modello a creare esempi sintetici e un altro a distinguerli dai dati reali. Questi modelli possono generare immagini utili, ma anche video deepfake ingannevoli.
Questi metodi affrontano aspetti diversi della scarsità di etichette. L’apprendimento per trasferimento riprende schemi che possono generalizzarsi, mentre gli approcci generativi creano esempi aggiuntivi. Nessuno dei due elimina la necessità di chiedersi se i dati ottenuti siano adatti al compito previsto. Gli esempi sintetici possono ampliare un dataset, ma la loro utilità dipende da quanto fedelmente rispecchiano le variazioni pertinenti. Analogamente, il trasferimento funziona meglio quando il compito di partenza e quello di arrivo condividono una struttura. Il riutilizzo fa risparmiare lavoro quando gli schemi ereditati sono davvero pertinenti, non semplicemente perché un modello è già disponibile.
L’apprendimento profondo progredisce quando dati, algoritmi e hardware specializzato si potenziano a vicenda.
I progressi si moltiplicano. Le reti neurali eseguono molte operazioni matriciali, che le unità di elaborazione grafica possono accelerare. Un hardware più veloce rende possibile addestrare reti più grandi su dataset più estesi. A loro volta, più dati possono rendere più efficaci le reti neurali flessibili, mentre i miglioramenti degli algoritmi ne facilitano l’apprendimento. Il libro descrive questo fenomeno come un ciclo di rinforzo reciproco che ha contribuito a portare l’apprendimento profondo dalla ricerca alle applicazioni di uso comune.
Anche l’hardware impone dei limiti. L’addestramento e l’impiego dei modelli richiedono calcolo ed energia. Il libro tratta dei chip neuromorfici, che usano reti di neuroni a impulsi e mirano a ridurre il consumo energetico grazie a un’attività sparsa e dipendente dal tempo. Descrive anche la ricerca sull’informatica quantistica, osservando però che, al momento della stesura, sistemi utili su scala commerciale erano ancora una prospettiva futura. I progressi di un modello dipendono dunque non solo dalla matematica, ma anche da ciò che le macchine sono in grado di eseguire concretamente.
Questa ricostruzione chiarisce che le svolte tecniche raramente si verificano isolate. Un nuovo algoritmo conta di più quando l’hardware è in grado di eseguirlo, e la grande disponibilità di dati è più utile quando un modello può sfruttarla. Questo ciclo invita anche alla cautela: ampliare la scala computazionale può migliorare le prestazioni in un compito definito senza chiarire se quel compito abbia valore sociale o sia valutato in modo equo. L’efficienza non riguarda soltanto la produzione di un sistema più capace; riguarda anche le risorse consumate e le conseguenze del suo impiego.
Esigi spiegazioni quando previsioni opache incidono sulla salute, sul credito o sulla privacy.
La precisione non è l’unico risultato che conta. I modelli di apprendimento profondo possono elaborare immagini mediche, valutare dati relativi al credito e analizzare le tracce del comportamento online. Tuttavia, la presenza di molti neuroni collegati tra loro e di rappresentazioni interne distribuite può rendere difficile spiegare come un determinato input abbia prodotto una decisione. Quando le decisioni incidono sulle persone, conoscere soltanto l’output potrebbe non bastare. Il libro collega questa sfida alla privacy e al diritto di ottenere spiegazioni sulle decisioni automatizzate previsto dalle norme europee sulla protezione dei dati.
Esistono strumenti per interpretare i modelli. La visualizzazione delle caratteristiche cerca gli input che attivano determinate parti di una rete. I metodi di attribuzione stimano in che misura le componenti contribuiscano a una previsione, spesso servendosi di mappe di salienza. La riduzione della dimensionalità proietta rappresentazioni ad alta dimensionalità in una forma che le persone possono esaminare. Questi metodi possono rivelare schemi, possibili distorsioni o casi di errore, ma interpretare il funzionamento interno di una rete resta una sfida in evoluzione.
L’interpretabilità non è semplice documentazione ornamentale. Può aiutare a scoprire se un modello si affida a segnali inattesi o fallisce in casi specifici, ed è particolarmente importante quando sono le persone a pagarne il costo. Una visualizzazione delle caratteristiche influenti, però, non costituisce automaticamente una spiegazione completa di una decisione. Il livello di spiegazione richiesto dovrebbe dipendere dalla posta in gioco: una raccomandazione di scarso impatto e una decisione medica o creditizia dalle conseguenze rilevanti non richiedono lo stesso grado di controllo.
Analisi
Il risultato centrale del libro è sostituire il mistero con un modello mentale operativo. L’apprendimento profondo non viene presentato come un cervello digitale, ma come un metodo flessibile per adattare funzioni che mappano input in output: i neuroni calcolano somme ponderate, le funzioni di attivazione introducono la non linearità, gli strati compongono trasformazioni e l’addestramento modifica i pesi sulla base degli esempi. Questa descrizione aiuta il lettore non specialista a comprendere sia la portata sia i limiti della tecnologia.
La narrazione mostra inoltre che il progresso tecnico dipende da determinate condizioni. Le reti neurali non sono migliorate semplicemente perché i ricercatori continuavano ad aggiungere strati. Il settore ha incontrato limiti di rappresentazione, difficoltà nell’addestrare gli strati nascosti, gradienti evanescenti e periodi in cui era più facile ricorrere ad approcci concorrenti. L’ascesa moderna dell’apprendimento profondo è dipesa da metodi di addestramento migliori, grandi dataset e hardware adatto ai calcoli matriciali. Questa ricostruzione è un utile antidoto all’idea di un progresso tecnologico inevitabile: le capacità emergono dall’interazione di diverse condizioni, non da una singola idea brillante.
La tensione più importante è quella tra flessibilità e responsabilità. La capacità di un modello di imparare caratteristiche dai dati grezzi riduce la necessità di progettarle manualmente, ma rende anche più difficile interpretare la rappresentazione appresa. Un punteggio elevato in un benchmark può dimostrare buone prestazioni rispetto a quel benchmark, ma non chiarisce se i dati siano rappresentativi, se la valutazione rispecchi il vero obiettivo o se la previsione debba guidare una decisione che riguarda una persona. Il libro riconosce queste questioni discutendo di privacy e interpretabilità.
Il lettore dovrebbe quindi portare con sé due atteggiamenti complementari. Primo: chiedersi come funziona il modello rispetto al compito specifico, da quali input apprende, quale output produce e in che modo l’errore modifica i suoi parametri. Secondo: chiedersi che cosa il suo successo non dimostri. L’apprendimento profondo può essere straordinariamente efficace in ambiti complessi e ricchi di dati senza diventare intelligenza generale, fornire una spiegazione causale o garantire risultati equi. La sua potenza è specifica e condizionata, e le sue conseguenze sono sempre più rilevanti.
Sintesi delle recensioni
Deep Learning ha ricevuto recensioni contrastanti, con una valutazione media di 3,91/5. Molti lo lodano come introduzione informativa ai concetti dell’apprendimento profondo, soprattutto per chi possiede già qualche competenza tecnica. Alcuni, tuttavia, lo giudicano troppo tecnico per il pubblico generalista, nonostante sia presentato come accessibile. I lettori apprezzano il contesto storico e le spiegazioni delle reti neurali, ma alcuni trovano difficile la matematica. Il libro è apprezzato per l’ampiezza della panoramica, ma criticato per la trattazione insufficiente delle applicazioni nel mondo reale e delle considerazioni etiche.
Altri hanno letto anche
Glossario
Apprendimento profondo
Apprendimento con reti neurali stratificateUn sottocampo dell’apprendimento automatico incentrato sull’addestramento di reti neurali con più strati nascosti. Queste reti apprendono funzioni che mappano gli input agli output, spesso ricavando caratteristiche utili da grandi insiemi di dati. La loro struttura a strati consente di rappresentare relazioni complesse e non lineari e supporta applicazioni come il riconoscimento delle immagini, l’elaborazione del parlato e la traduzione automatica.
Bias induttivo
Assunzioni che orientano la scelta del modelloLe assunzioni che un algoritmo usa per preferire alcune funzioni candidate rispetto ad altre quando gli esempi disponibili non determinano una soluzione univoca. Algoritmi diversi incorporano bias diversi. Un bias troppo restrittivo può causare un sottadattamento, mentre un modello eccessivamente permissivo può adattarsi al rumore e sovradattarsi ai dati di addestramento.
Sovradattamento
Apprendere il rumore come se fosse uno schemaUn modello si sovradatta quando si adatta così strettamente agli esempi di addestramento da cogliere il rumore o peculiarità specifiche del campione, anziché schemi generalizzabili. Un modello di questo tipo può funzionare bene sugli esempi usati per addestrarlo, ma male su dati nuovi. Il rischio dipende dalla flessibilità del modello, dalla qualità dei dati e dalla dimensione dell’insieme di dati.
Funzione di attivazione
Mappatura non lineare dell’output di un neuroneUna funzione che riceve la somma ponderata degli input di un neurone e la trasforma nell’output, o attivazione, del neurone. Le funzioni di attivazione non lineari consentono agli strati di neuroni di rappresentare mappature complesse e non lineari. Tra gli esempi comuni discussi nel libro figurano le funzioni logistica, tanh e lineare rettificata.
Retropropagazione
Attribuzione retrospettiva dell’erroreUn algoritmo che calcola come varia l’errore della rete in risposta ai pesi presenti in tutta la rete neurale, compresi quelli degli strati nascosti. Prima fa passare un esempio in avanti per produrre un output, poi propaga all’indietro attraverso la rete le informazioni sull’errore. I gradienti risultanti possono essere usati da un metodo di ottimizzazione, come la discesa del gradiente, per aggiornare i pesi.
Discesa del gradiente
Aggiornamenti dei parametri che riducono l’erroreUn algoritmo di ottimizzazione che modifica i parametri del modello nella direzione che dovrebbe ridurre l’errore. Usa il gradiente di una misura dell’errore per determinare come dovrebbe cambiare ciascun peso. Il tasso di apprendimento controlla l’entità degli aggiornamenti. Nelle reti neurali, la discesa del gradiente viene comunemente abbinata alla retropropagazione, che calcola i gradienti dell’errore necessari.
Rete neurale convoluzionale
Filtri condivisi per dati spazialiUn’architettura di rete neurale comunemente usata per le immagini. Uno strato convoluzionale applica pesi condivisi, detti kernel, a regioni locali dell’input. La mappa delle caratteristiche risultante registra dove viene rilevato uno schema appreso. Spesso si aggiungono attivazioni non lineari e pooling, mentre gli strati più profondi combinano caratteristiche locali in rappresentazioni più complesse.
Rete neurale ricorrente
Rete con memoria sequenzialeUn’architettura di rete neurale progettata per elaborare dati sequenziali. Trasmette informazioni da un passaggio dell’input al successivo, consentendo di elaborare ciascun passaggio nel contesto degli input precedenti. Questo flusso ricorrente fornisce una forma di memoria. Le sequenze lunghe possono rendere difficile l’addestramento, perché i segnali di errore possono svanire mentre vengono propagati all’indietro.
Memoria a lungo termine e breve termine (LSTM)
Memoria sequenziale con gateUn’unità di rete ricorrente progettata per aiutare a conservare informazioni lungo sequenze più estese e ridurre gli effetti del gradiente evanescente. Memorizza le attivazioni in una cella e usa gate per controllare quali informazioni vengono dimenticate, aggiunte o usate nell’output. Le reti LSTM sono state utilizzate in compiti linguistici, tra cui la traduzione automatica.
Apprendimento per trasferimento
Riutilizzo tra compiti correlatiL’uso di informazioni o rappresentazioni apprese in un compito per agevolare l’apprendimento in un compito correlato. Nell’elaborazione delle immagini, gli strati iniziali di una rete preaddestrata potrebbero già rilevare caratteristiche visive di ampia utilità. Riutilizzarli può ridurre la quantità di nuovi dati etichettati e di lavoro di addestramento necessari per un’applicazione specializzata.
Rete generativa avversaria (GAN)
Modelli concorrenti per la generazione di datiUn approccio generativo composto da due reti neurali addestrate in contrapposizione. Il generatore crea esempi sintetici, mentre il discriminatore cerca di distinguere gli esempi generati dai dati reali. Il generatore impara a produrre esempi in grado di ingannare il discriminatore. Le GAN possono sintetizzare immagini, ma le stesse capacità possono anche favorire la creazione di media deepfake ingannevoli.
Gradiente evanescente
Segnale di apprendimento che si attenuaUn problema di addestramento in cui i gradienti dell’errore si riducono mentre vengono propagati all’indietro attraverso molti strati della rete o lungo sequenze estese. Quando i gradienti diventano molto piccoli, i pesi degli strati iniziali ricevono aggiornamenti minimi e possono apprendere lentamente. Le reti ricorrenti sono particolarmente vulnerabili lungo sequenze estese. Le funzioni di attivazione e le architetture delle reti possono influire sulla gravità del problema.
Rappresentazione distribuita
Concetto codificato su più unitàUna rappresentazione in cui un concetto è codificato da uno schema di attivazioni distribuito tra più neuroni, anziché da un singolo neurone assegnato a quel concetto. Ogni neurone può contribuire a più concetti. Queste rappresentazioni possono essere compatte e utili per l’apprendimento, anche se il significato di una singola unità nascosta potrebbe non essere facilmente interpretabile.
Scarica PDF
Scarica EPUB
.epub è ideale per leggere ebook su telefoni, tablet ed e-reader.