Inizia la prova gratuita
Tendenze Novità Generi Autori
EnglishEnglish
EspañolSpanish
简体中文Chinese
繁體中文Chinese (Traditional)
FrançaisFrench
DeutschGerman
日本語Japanese
PortuguêsPortuguese
ItalianoItalian
한국어Korean
РусскийRussian
NederlandsDutch
العربيةArabic
PolskiPolish
हिन्दीHindi
Tiếng ViệtVietnamese
SvenskaSwedish
ΕλληνικάGreek
TürkçeTurkish
ไทยThai
ČeštinaCzech
RomânăRomanian
MagyarHungarian
УкраїнськаUkrainian
IndonesiaIndonesian
DanskDanish
SuomiFinnish
БългарскиBulgarian
עבריתHebrew
NorskNorwegian
HrvatskiCroatian
CatalàCatalan
SlovenčinaSlovak
LietuviųLithuanian
SlovenščinaSlovenian
СрпскиSerbian
EestiEstonian
LatviešuLatvian
فارسیPersian
മലയാളംMalayalam
தமிழ்Tamil
اردوUrdu
Ricerca in corso...
SoBrief
Deep Learning

Deep Learning

Scopri come funziona l’apprendimento profondo, in quali ambiti eccelle e quando le sue previsioni sicure di sé possono trarre in inganno.
di John D. Kelleher 2019 296 pagine
3.89
473 valutazioni
Ascolta
Immersivi
V2.3
Amazon Kindle Audible
Prova l'accesso completo per 3 giorni
Sblocca l'ascolto e molto altro!
Continua

Punti chiave

Usa l’apprendimento profondo quando i dati grezzi sono abbondanti e le caratteristiche progettate a mano non bastano.

Imparare dagli input grezzi. L’apprendimento profondo addestra grandi reti neurali affinché individuino schemi utili in dati complessi. A differenza dell’apprendimento automatico tradizionale, che spesso dipende da persone che progettano caratteristiche informative, l’apprendimento profondo può imparare le caratteristiche direttamente dagli input grezzi, come i pixel di un’immagine, i segnali vocali o il testo. Questa capacità è particolarmente preziosa quando i dati hanno molte dimensioni e gli esempi sono numerosi.

AlphaGo ha dimostrato il potenziale. Il Go ammette un numero enorme di possibili configurazioni della scacchiera, il che rende la ricerca molto più difficile che negli scacchi. AlphaGo usava reti neurali per valutare le posizioni e scegliere le mosse; nel 2016 sconfisse Lee Sedol. Il libro osserva che, in soli sette anni, il Go giocato dai computer è passato da un livello da dilettante avanzato a quello di campione del mondo. Questo balzo illustra ciò che il riconoscimento di schemi basato sui dati può ottenere se abbinato a notevoli risorse di calcolo.

Analisi

La distinzione importante non è che una rete neurale elimini il giudizio umano, ma che ne sposti il ruolo verso la scelta del compito, dei dati e dei criteri di valutazione. Ciò può rendere potente l’apprendimento profondo nei campi in cui è difficile specificare in anticipo gli schemi utili. E rende anche facile esagerarne le capacità: il successo in un compito circoscritto come il Go non dimostra, di per sé, un’intelligenza generale. Il risultato è notevole proprio perché il sistema è specializzato, addestrato e valutato in un ambiente ben definito.

Considera ogni modello come una funzione appresa che mappa input in output, non come una mente.

Un modello mappa valori. Una funzione è una mappatura deterministica da input a output. Un filtro antispam associa un’e-mail a una decisione sul fatto che sia spam; un sistema di riconoscimento vocale associa un suono a un testo. Nell’apprendimento automatico, un modello è un programma per computer che codifica una funzione appresa dagli esempi. Una rete neurale è un modo per rappresentare quella funzione, mettendo insieme molti piccoli calcoli.

L’apprendimento avviene in due fasi. Durante l’addestramento, l’algoritmo modifica il modello affinché corrisponda agli esempi di un insieme di dati. Al termine dell’addestramento, il modello rimane fisso. Durante l’inferenza, applica la mappatura appresa a nuovi esempi e produce stime. La parola «apprendimento» può evocare una comprensione simile a quella umana, ma la descrizione tecnica del libro è più circoscritta: si regolano i parametri per migliorare la corrispondenza tra schemi di input e output attesi.

Analisi

Questa distinzione aiuta a separare le prestazioni dalla comprensione. Un sistema può produrre output utili senza avere una spiegazione umana del perché siano sensati. La prospettiva funzionale offre anche una verifica pratica: individuare quali dati entrano, che cosa esce e a quale scopo dovrebbe servire l’output. Se questi confini sono vaghi, è difficile valutare le affermazioni sulle capacità di un modello. Il limite di una semplice descrizione in termini di mappatura è che può nascondere il significato sociale dei suoi output, soprattutto quando una previsione viene trattata come una decisione.

Prima di fidarti di una risposta, verifica i dati, le scelte di modellazione e il criterio di valutazione.

Tre ingredienti determinano l’apprendimento. Un progetto di apprendimento automatico ha bisogno di esempi, di un insieme di funzioni candidate e di una misura della capacità di ciascuna funzione di adattarsi ai dati. In pratica, le caratteristiche del dataset contano molto: se sono troppo poche, possono escludere informazioni utili; se sono irrilevanti o ridondanti, possono favorire l’individuazione di schemi spurii. Il libro osserva che la preparazione dei dati può assorbire fino all’80% del budget di un progetto.

Gli algoritmi incorporano delle ipotesi. Il bias induttivo è l’insieme di ipotesi che orienta un algoritmo verso alcune funzioni piuttosto che altre. In assenza di tali ipotesi, molte funzioni diverse possono adattarsi agli stessi pochi esempi. Un bias troppo forte può causare un sottoadattamento: il modello non coglie la complessità reale. Un bias troppo debole può causare sovradattamento: il modello impara il rumore presente nei dati di addestramento e funziona male su esempi nuovi.

Analisi

È un utile correttivo all’idea che più dati producano automaticamente decisioni migliori. I dati devono rappresentare il compito e il criterio di valutazione deve premiare il comportamento che conta davvero. Un modello può ottimizzare la misura dichiarata senza cogliere lo scopo che dovrebbe servire; per questo la validazione tecnica e il giudizio di chi conosce il settore devono procedere insieme. I tre ingredienti descritti nel libro chiariscono anche dove concentrarsi: gli errori possono avere origine negli esempi, nella famiglia di modelli o nella definizione del successo.

Una rete diventa espressiva combinando calcoli semplici con attivazioni non lineari.

Ogni neurone è semplice. Un neurone artificiale moltiplica i propri input per dei pesi, somma i risultati e poi applica la somma a una funzione di attivazione. La funzione di attivazione introduce la non linearità, consentendo alla rete di rappresentare relazioni più complesse di una mappatura lineare. Senza di essa, anche la sovrapposizione di più strati produrrebbe soltanto una funzione lineare.

Gli strati costruiscono rappresentazioni. Ogni neurone trasforma le informazioni destinate allo strato successivo; così la rete può combinare schemi semplici e ricavarne altri più astratti. Nel riconoscimento delle immagini, i primi strati possono attivarsi in risposta a bordi o curve, mentre quelli più profondi li combinano in parti e poi in oggetti. Il problema logico XOR mostra perché questo è importante: un singolo neurone a soglia non può separare i casi vero e falso con un unico confine rettilineo, ma una rete multistrato può combinare risultati intermedi per rappresentarlo.

Analisi

La prospettiva composizionale rende le reti neurali meno misteriose senza banalizzarle. La loro potenza deriva dalla disposizione di molte trasformazioni semplici, che consente al sistema nel suo insieme di rappresentare una mappatura complessa. È una strategia generale, simile a quelle impiegate in matematica e ingegneria: costruire un’operazione difficile a partire da componenti riutilizzabili. Tuttavia, le componenti ottenute non corrispondono necessariamente a concetti comprensibili per gli esseri umani. Uno strato può essere utile perché aiuta quello successivo a prevedere correttamente, non perché la sua rappresentazione interna abbia un’interpretazione evidente.

La profondità è utile solo se i segnali di addestramento raggiungono i primi strati della rete.

Il merito deve propagarsi all’indietro. Per addestrare una rete occorre determinare in che misura ciascun peso abbia contribuito all’errore finale, compresi i pesi distanti dall’output. La retropropagazione affronta questo problema di attribuzione del merito inviando all’indietro, attraverso la rete, informazioni sull’errore. Nelle reti profonde, però, le moltiplicazioni ripetute possono ridurre quel segnale. È il problema del gradiente evanescente: i primi strati ricevono aggiornamenti minimi e possono imparare molto lentamente.

I progressi pratici hanno dato una mano. La storia delle reti neurali è segnata da ripetute ondate di promesse e delusioni. Nel 1969, Minsky e Papert misero in luce i limiti dei percettroni a singolo strato, compresa l’incapacità di apprendere XOR. Le reti multistrato potevano rappresentare funzioni più ricche, ma addestrarle era difficile. Le attivazioni ReLU hanno aiutato i gradienti a propagarsi attraverso le unità attive, mentre una migliore inizializzazione dei pesi e le connessioni residue hanno favorito modelli più profondi. Queste tecniche hanno reso la profondità più facile da addestrare, non automaticamente più utile.

Analisi

La profondità è una risorsa, non una garanzia. La rete deve ricevere un segnale di apprendimento utilizzabile, e sono l’architettura e le scelte di addestramento a determinare se quel segnale riesce a propagarsi. È una lezione più ampia sui sistemi complessi: aggiungere componenti aumenta la capacità, ma crea anche più occasioni perché il coordinamento fallisca. La ricostruzione storica, inoltre, si oppone a una narrazione semplicistica di progresso costante. Una rappresentazione promettente può restare impraticabile finché i metodi di addestramento, la disponibilità di dati e le risorse di calcolo non la rendono attuabile.

Adatta l’architettura ai dati: le immagini richiedono località, le sequenze memoria.

Le CNN riutilizzano rilevatori visivi. Una rete neurale convoluzionale applica lo stesso insieme di pesi, detto kernel, a piccole regioni distribuite nell’immagine. Ogni regione è un campo recettivo. Il riutilizzo dei pesi consente alla rete di rilevare una caratteristica ovunque compaia; la mappa delle caratteristiche risultante registra i punti in cui il rilevatore si è attivato. Il pooling può ridurre le dimensioni della mappa e scartare parte delle informazioni sulla posizione precisa. Gli strati più profondi combinano i rilevamenti locali in schemi visivi più complessi.

Le RNN trasmettono il contesto. Una rete neurale ricorrente elabora una sequenza un elemento alla volta, trasmettendo informazioni da un passaggio al successivo. Le unità di memoria a lungo termine e breve termine usano porte per controllare quali informazioni conservare, aggiornare o produrre, e aiutano a gestire le dipendenze a lungo raggio. Nella traduzione da sequenza a sequenza, una rete codifica la frase di partenza e un’altra genera la traduzione. Queste architetture incorporano nella rete ipotesi sulla struttura dei dati.

Analisi

L’architettura è una forma di conoscenza a priori. Una CNN presuppone che contino la vicinanza tra i pixel e la ricorrenza di schemi visivi; una RNN presuppone che contino l’ordine della sequenza e il contesto precedente. Queste ipotesi restringono l’insieme delle funzioni possibili che il modello deve esplorare e possono rendere l’apprendimento più efficiente. Il compromesso è che un’ipotesi utile in un ambito può risultare limitante in un altro. La domanda di progettazione, quindi, non è semplicemente quale architettura sia più recente, ma quale struttura rispecchi meglio le regolarità significative del compito.

Addestra la rete propagando ogni errore all’indietro e poi procedendo a passi misurati in discesa.

La discesa del gradiente modifica i pesi. Un algoritmo di addestramento misura l’errore del modello e poi modifica i parametri in una direzione che dovrebbe ridurlo. Il tasso di apprendimento determina l’entità di ogni modifica: passi troppo ampi possono far oltrepassare il punto ottimale, mentre passi troppo piccoli possono rallentare l’addestramento. Per un semplice modello lineare, la superficie dell’errore può assomigliare a una conca e la ricerca può procedere verso il suo punto più basso.

La retropropagazione attribuisce le responsabilità. Per prima cosa, un esempio attraversa la rete in avanti e produce un output. L’algoritmo confronta quell’output con la risposta attesa, poi propaga all’indietro le informazioni sull’errore per stimare il contributo di ciascun neurone. La discesa del gradiente usa queste stime per aggiornare i pesi. Le reti neurali hanno superfici dell’errore complesse, con più avvallamenti, quindi l’addestramento non garantisce di trovare i pesi migliori in assoluto. Ripetere l’addestramento partendo da pesi iniziali diversi può aiutare a esplorare alternative.

Analisi

I due algoritmi rispondono a domande diverse: la retropropagazione stima in che modo le modifiche incidono sull’errore, mentre la discesa del gradiente usa tali stime per modificare i parametri. Tenere chiara questa distinzione facilita la comprensione del processo di addestramento. La metafora della «discesa» è utile, ma può suggerire un paesaggio semplice e una destinazione certa. In un modello complesso il terreno può presentare molti minimi locali; il successo pratico consiste nel trovare una soluzione utile, non nel dimostrare di aver trovato la migliore possibile.

Riutilizza le caratteristiche apprese quando le etichette scarseggiano e tratta con cautela i dati sintetici.

Le etichette richiedono tempo e denaro. L’apprendimento supervisionato richiede esempi abbinati alle risposte corrette. ImageNet, che ha sostenuto importanti progressi nel riconoscimento delle immagini, contiene oltre 14 milioni di immagini annotate manualmente; più di un milione di esse è stato inoltre contrassegnato con la posizione degli oggetti. Ripetere un processo di etichettatura simile per ogni nuovo compito è costoso.

Il riutilizzo e la generazione offrono alternative. L’apprendimento per trasferimento riutilizza le informazioni apprese in un compito correlato. Per esempio, i primi strati di un modello preaddestrato per le immagini potrebbero già rilevare bordi e altre caratteristiche visive generali; un nuovo progetto può quindi adattare gli strati successivi usando un dataset etichettato più piccolo. Metodi non supervisionati come gli autoencoder imparano rappresentazioni utili senza etichette di riferimento. Le reti generative avversarie addestrano un modello a creare esempi sintetici e un altro a distinguerli dai dati reali. Questi modelli possono generare immagini utili, ma anche video deepfake ingannevoli.

Analisi

Questi metodi affrontano aspetti diversi della scarsità di etichette. L’apprendimento per trasferimento riprende schemi che possono generalizzarsi, mentre gli approcci generativi creano esempi aggiuntivi. Nessuno dei due elimina la necessità di chiedersi se i dati ottenuti siano adatti al compito previsto. Gli esempi sintetici possono ampliare un dataset, ma la loro utilità dipende da quanto fedelmente rispecchiano le variazioni pertinenti. Analogamente, il trasferimento funziona meglio quando il compito di partenza e quello di arrivo condividono una struttura. Il riutilizzo fa risparmiare lavoro quando gli schemi ereditati sono davvero pertinenti, non semplicemente perché un modello è già disponibile.

L’apprendimento profondo progredisce quando dati, algoritmi e hardware specializzato si potenziano a vicenda.

I progressi si moltiplicano. Le reti neurali eseguono molte operazioni matriciali, che le unità di elaborazione grafica possono accelerare. Un hardware più veloce rende possibile addestrare reti più grandi su dataset più estesi. A loro volta, più dati possono rendere più efficaci le reti neurali flessibili, mentre i miglioramenti degli algoritmi ne facilitano l’apprendimento. Il libro descrive questo fenomeno come un ciclo di rinforzo reciproco che ha contribuito a portare l’apprendimento profondo dalla ricerca alle applicazioni di uso comune.

Anche l’hardware impone dei limiti. L’addestramento e l’impiego dei modelli richiedono calcolo ed energia. Il libro tratta dei chip neuromorfici, che usano reti di neuroni a impulsi e mirano a ridurre il consumo energetico grazie a un’attività sparsa e dipendente dal tempo. Descrive anche la ricerca sull’informatica quantistica, osservando però che, al momento della stesura, sistemi utili su scala commerciale erano ancora una prospettiva futura. I progressi di un modello dipendono dunque non solo dalla matematica, ma anche da ciò che le macchine sono in grado di eseguire concretamente.

Analisi

Questa ricostruzione chiarisce che le svolte tecniche raramente si verificano isolate. Un nuovo algoritmo conta di più quando l’hardware è in grado di eseguirlo, e la grande disponibilità di dati è più utile quando un modello può sfruttarla. Questo ciclo invita anche alla cautela: ampliare la scala computazionale può migliorare le prestazioni in un compito definito senza chiarire se quel compito abbia valore sociale o sia valutato in modo equo. L’efficienza non riguarda soltanto la produzione di un sistema più capace; riguarda anche le risorse consumate e le conseguenze del suo impiego.

Esigi spiegazioni quando previsioni opache incidono sulla salute, sul credito o sulla privacy.

La precisione non è l’unico risultato che conta. I modelli di apprendimento profondo possono elaborare immagini mediche, valutare dati relativi al credito e analizzare le tracce del comportamento online. Tuttavia, la presenza di molti neuroni collegati tra loro e di rappresentazioni interne distribuite può rendere difficile spiegare come un determinato input abbia prodotto una decisione. Quando le decisioni incidono sulle persone, conoscere soltanto l’output potrebbe non bastare. Il libro collega questa sfida alla privacy e al diritto di ottenere spiegazioni sulle decisioni automatizzate previsto dalle norme europee sulla protezione dei dati.

Esistono strumenti per interpretare i modelli. La visualizzazione delle caratteristiche cerca gli input che attivano determinate parti di una rete. I metodi di attribuzione stimano in che misura le componenti contribuiscano a una previsione, spesso servendosi di mappe di salienza. La riduzione della dimensionalità proietta rappresentazioni ad alta dimensionalità in una forma che le persone possono esaminare. Questi metodi possono rivelare schemi, possibili distorsioni o casi di errore, ma interpretare il funzionamento interno di una rete resta una sfida in evoluzione.

Analisi

L’interpretabilità non è semplice documentazione ornamentale. Può aiutare a scoprire se un modello si affida a segnali inattesi o fallisce in casi specifici, ed è particolarmente importante quando sono le persone a pagarne il costo. Una visualizzazione delle caratteristiche influenti, però, non costituisce automaticamente una spiegazione completa di una decisione. Il livello di spiegazione richiesto dovrebbe dipendere dalla posta in gioco: una raccomandazione di scarso impatto e una decisione medica o creditizia dalle conseguenze rilevanti non richiedono lo stesso grado di controllo.

Analisi

Il risultato centrale del libro è sostituire il mistero con un modello mentale operativo. L’apprendimento profondo non viene presentato come un cervello digitale, ma come un metodo flessibile per adattare funzioni che mappano input in output: i neuroni calcolano somme ponderate, le funzioni di attivazione introducono la non linearità, gli strati compongono trasformazioni e l’addestramento modifica i pesi sulla base degli esempi. Questa descrizione aiuta il lettore non specialista a comprendere sia la portata sia i limiti della tecnologia.

La narrazione mostra inoltre che il progresso tecnico dipende da determinate condizioni. Le reti neurali non sono migliorate semplicemente perché i ricercatori continuavano ad aggiungere strati. Il settore ha incontrato limiti di rappresentazione, difficoltà nell’addestrare gli strati nascosti, gradienti evanescenti e periodi in cui era più facile ricorrere ad approcci concorrenti. L’ascesa moderna dell’apprendimento profondo è dipesa da metodi di addestramento migliori, grandi dataset e hardware adatto ai calcoli matriciali. Questa ricostruzione è un utile antidoto all’idea di un progresso tecnologico inevitabile: le capacità emergono dall’interazione di diverse condizioni, non da una singola idea brillante.

La tensione più importante è quella tra flessibilità e responsabilità. La capacità di un modello di imparare caratteristiche dai dati grezzi riduce la necessità di progettarle manualmente, ma rende anche più difficile interpretare la rappresentazione appresa. Un punteggio elevato in un benchmark può dimostrare buone prestazioni rispetto a quel benchmark, ma non chiarisce se i dati siano rappresentativi, se la valutazione rispecchi il vero obiettivo o se la previsione debba guidare una decisione che riguarda una persona. Il libro riconosce queste questioni discutendo di privacy e interpretabilità.

Il lettore dovrebbe quindi portare con sé due atteggiamenti complementari. Primo: chiedersi come funziona il modello rispetto al compito specifico, da quali input apprende, quale output produce e in che modo l’errore modifica i suoi parametri. Secondo: chiedersi che cosa il suo successo non dimostri. L’apprendimento profondo può essere straordinariamente efficace in ambiti complessi e ricchi di dati senza diventare intelligenza generale, fornire una spiegazione causale o garantire risultati equi. La sua potenza è specifica e condizionata, e le sue conseguenze sono sempre più rilevanti.

Riassunto in 30 secondi
L’apprendimento profondo approssima mappature da input a output modificando i pesi della rete sulla base di esempi. Gli strati combinano calcoli semplici in schemi complessi, mentre la retropropagazione e la discesa del gradiente aggiornano il modello per ridurre l’errore. Immagini e sequenze traggono vantaggio da architetture diverse, e le caratteristiche preaddestrate possono essere utili quando gli esempi etichettati sono pochi. La preparazione dei dati può assorbire fino all’80% del budget di un progetto, mentre ImageNet contiene oltre 14 milioni di immagini annotate. Anche risultati eccellenti dipendono da dati rappresentativi, valutazioni solide e attento esame delle previsioni che hanno conseguenze rilevanti.
Contiene spoiler

Ultimo aggiornamento:

Segnala un problema

Sintesi delle recensioni

3.89 su 5
Media di 473 valutazioni da Goodreads e Amazon.

Deep Learning ha ricevuto recensioni contrastanti, con una valutazione media di 3,91/5. Molti lo lodano come introduzione informativa ai concetti dell’apprendimento profondo, soprattutto per chi possiede già qualche competenza tecnica. Alcuni, tuttavia, lo giudicano troppo tecnico per il pubblico generalista, nonostante sia presentato come accessibile. I lettori apprezzano il contesto storico e le spiegazioni delle reti neurali, ma alcuni trovano difficile la matematica. Il libro è apprezzato per l’ampiezza della panoramica, ma criticato per la trattazione insufficiente delle applicazioni nel mondo reale e delle considerazioni etiche.

La tua valutazione:
4.42
154 valutazioni
Vuoi leggere il libro completo?

Altri hanno letto anche

Glossario

Apprendimento profondo

Apprendimento con reti neurali stratificate

Un sottocampo dell’apprendimento automatico incentrato sull’addestramento di reti neurali con più strati nascosti. Queste reti apprendono funzioni che mappano gli input agli output, spesso ricavando caratteristiche utili da grandi insiemi di dati. La loro struttura a strati consente di rappresentare relazioni complesse e non lineari e supporta applicazioni come il riconoscimento delle immagini, l’elaborazione del parlato e la traduzione automatica.

Bias induttivo

Assunzioni che orientano la scelta del modello

Le assunzioni che un algoritmo usa per preferire alcune funzioni candidate rispetto ad altre quando gli esempi disponibili non determinano una soluzione univoca. Algoritmi diversi incorporano bias diversi. Un bias troppo restrittivo può causare un sottadattamento, mentre un modello eccessivamente permissivo può adattarsi al rumore e sovradattarsi ai dati di addestramento.

Sovradattamento

Apprendere il rumore come se fosse uno schema

Un modello si sovradatta quando si adatta così strettamente agli esempi di addestramento da cogliere il rumore o peculiarità specifiche del campione, anziché schemi generalizzabili. Un modello di questo tipo può funzionare bene sugli esempi usati per addestrarlo, ma male su dati nuovi. Il rischio dipende dalla flessibilità del modello, dalla qualità dei dati e dalla dimensione dell’insieme di dati.

Funzione di attivazione

Mappatura non lineare dell’output di un neurone

Una funzione che riceve la somma ponderata degli input di un neurone e la trasforma nell’output, o attivazione, del neurone. Le funzioni di attivazione non lineari consentono agli strati di neuroni di rappresentare mappature complesse e non lineari. Tra gli esempi comuni discussi nel libro figurano le funzioni logistica, tanh e lineare rettificata.

Retropropagazione

Attribuzione retrospettiva dell’errore

Un algoritmo che calcola come varia l’errore della rete in risposta ai pesi presenti in tutta la rete neurale, compresi quelli degli strati nascosti. Prima fa passare un esempio in avanti per produrre un output, poi propaga all’indietro attraverso la rete le informazioni sull’errore. I gradienti risultanti possono essere usati da un metodo di ottimizzazione, come la discesa del gradiente, per aggiornare i pesi.

Discesa del gradiente

Aggiornamenti dei parametri che riducono l’errore

Un algoritmo di ottimizzazione che modifica i parametri del modello nella direzione che dovrebbe ridurre l’errore. Usa il gradiente di una misura dell’errore per determinare come dovrebbe cambiare ciascun peso. Il tasso di apprendimento controlla l’entità degli aggiornamenti. Nelle reti neurali, la discesa del gradiente viene comunemente abbinata alla retropropagazione, che calcola i gradienti dell’errore necessari.

Rete neurale convoluzionale

Filtri condivisi per dati spaziali

Un’architettura di rete neurale comunemente usata per le immagini. Uno strato convoluzionale applica pesi condivisi, detti kernel, a regioni locali dell’input. La mappa delle caratteristiche risultante registra dove viene rilevato uno schema appreso. Spesso si aggiungono attivazioni non lineari e pooling, mentre gli strati più profondi combinano caratteristiche locali in rappresentazioni più complesse.

Rete neurale ricorrente

Rete con memoria sequenziale

Un’architettura di rete neurale progettata per elaborare dati sequenziali. Trasmette informazioni da un passaggio dell’input al successivo, consentendo di elaborare ciascun passaggio nel contesto degli input precedenti. Questo flusso ricorrente fornisce una forma di memoria. Le sequenze lunghe possono rendere difficile l’addestramento, perché i segnali di errore possono svanire mentre vengono propagati all’indietro.

Memoria a lungo termine e breve termine (LSTM)

Memoria sequenziale con gate

Un’unità di rete ricorrente progettata per aiutare a conservare informazioni lungo sequenze più estese e ridurre gli effetti del gradiente evanescente. Memorizza le attivazioni in una cella e usa gate per controllare quali informazioni vengono dimenticate, aggiunte o usate nell’output. Le reti LSTM sono state utilizzate in compiti linguistici, tra cui la traduzione automatica.

Apprendimento per trasferimento

Riutilizzo tra compiti correlati

L’uso di informazioni o rappresentazioni apprese in un compito per agevolare l’apprendimento in un compito correlato. Nell’elaborazione delle immagini, gli strati iniziali di una rete preaddestrata potrebbero già rilevare caratteristiche visive di ampia utilità. Riutilizzarli può ridurre la quantità di nuovi dati etichettati e di lavoro di addestramento necessari per un’applicazione specializzata.

Rete generativa avversaria (GAN)

Modelli concorrenti per la generazione di dati

Un approccio generativo composto da due reti neurali addestrate in contrapposizione. Il generatore crea esempi sintetici, mentre il discriminatore cerca di distinguere gli esempi generati dai dati reali. Il generatore impara a produrre esempi in grado di ingannare il discriminatore. Le GAN possono sintetizzare immagini, ma le stesse capacità possono anche favorire la creazione di media deepfake ingannevoli.

Gradiente evanescente

Segnale di apprendimento che si attenua

Un problema di addestramento in cui i gradienti dell’errore si riducono mentre vengono propagati all’indietro attraverso molti strati della rete o lungo sequenze estese. Quando i gradienti diventano molto piccoli, i pesi degli strati iniziali ricevono aggiornamenti minimi e possono apprendere lentamente. Le reti ricorrenti sono particolarmente vulnerabili lungo sequenze estese. Le funzioni di attivazione e le architetture delle reti possono influire sulla gravità del problema.

Rappresentazione distribuita

Concetto codificato su più unità

Una rappresentazione in cui un concetto è codificato da uno schema di attivazioni distribuito tra più neuroni, anziché da un singolo neurone assegnato a quel concetto. Ogni neurone può contribuire a più concetti. Queste rappresentazioni possono essere compatte e utili per l’apprendimento, anche se il significato di una singola unità nascosta potrebbe non essere facilmente interpretabile.

Sull'autore

John D. Kelleher è professore di informatica e responsabile accademico presso l’Information, Communication, and Entertainment Research Institute del Dublin Institute of Technology. È coautore di "Fundamentals of Machine Learning for Predictive Data Analytics", pubblicato da MIT Press. La competenza di Kelleher in informatica, in particolare nell’apprendimento automatico e nell’intelligenza artificiale, emerge chiaramente dal suo lavoro. Il suo libro "Deep Learning" fa parte della collana MIT Press Essential Knowledge, che si propone di offrire introduzioni concise ad argomenti complessi. L’approccio di Kelleher combina approfondimento tecnico e impegno nel rendere la materia accessibile, anche se alcuni lettori trovano difficile raggiungere un equilibrio. Il suo lavoro contribuisce al crescente corpus di testi che spiegano concetti avanzati di IA a un pubblico più ampio.

Scarica PDF

Per conservare questo riassunto di Deep Learning e leggerlo in seguito, scarica il PDF gratuito. Puoi stamparlo o leggerlo offline quando vuoi.
Download PDF

Scarica EPUB

Per leggere il riassunto di Deep Learning sul tuo e-reader o sulla relativa app, scarica l’EPUB gratuito. Il formato digitale .epub è ideale per leggere ebook su telefoni, tablet ed e-reader.
Download EPUB
Vuoi leggere il libro completo?
Segui
Ascolta
Home
Swipe
Libreria
App
Prova l'accesso completo per 3 giorni
Ascolta, salva e molto altro
Confronta le funzionalità Gratuito Pro
📖 Leggi i riassunti
Leggi riassunti illimitati. Gli utenti gratuiti ne ricevono 3 al mese
🎧 Ascolta i riassunti
Ascolta riassunti illimitati in 40 lingue
—
❤️ Segnalibri illimitati
Gli utenti gratuiti sono limitati a 4
—
📜 Cronologia illimitata
Gli utenti gratuiti sono limitati a 4
—
📥 Download illimitati
Gli utenti gratuiti sono limitati a 1
—
Prova senza rischi
Oggi: accesso immediato
Ascolta i riassunti completi di oltre 26.000 libri. Sono più di 12.000 ore di audio!
Giorno 2: promemoria della prova
Ti invieremo una notifica per avvisarti che la prova sta per scadere.
Giorno 3: inizia il tuo abbonamento
L'addebito avverrà il 24 nov,
puoi annullare in qualsiasi momento prima.
Consume 2.8× More Books
2.8× libri in più Ascolto Lettura
I nostri utenti ci adorano
1M+ lettori
Trustpilot Rating
TrustPilot
4.6 Eccellente
Questo sito è una vera rivoluzione. Ho letto riassunti di libri come mai prima d'ora. Consigliatissimo.
— Dave G
Vale ogni centesimo e ogni minuto, ed è davvero ben fatto. Non ho mai visto riassunti di questa qualità su altri siti. Utilissimo!
— Em
Consigliatissimo!! Servizio fantastico. Perfetto per chi vuole qualcosa in più di un'anteprima ma senza tutti i dettagli di un audiolibro completo.
— Greg M
Risparmia il 62%
Annuale
$119.88 $44.99/anno/anno
$3.75/mese
Mensile
$9.99/mese
Inizia la prova gratuita di 3 giorni
3 giorni gratis, poi $44.99/anno. Cancella quando vuoi.
Unlock a world of fiction & nonfiction books
Oltre 26.000 libri al prezzo di 2
Leggi qualsiasi libro in 10 minuti
Scopri nuovi libri come su Tinder
Richiedi qualsiasi libro se non è ancora disponibile
Leggi più libri di chiunque tu conosca
App n. 1 per gli amanti dei libri
Lifelike & immersive summaries
Garanzia di rimborso entro 30 giorni
Scarica i riassunti in EPUB o PDF
Cancella in qualsiasi momento con pochi clic

Perché un solo riassunto?

Scanner
Trova un codice a barre da scansionare

⭐
⭐
⭐
Abbiamo un regalo speciale per te
Apri
38% di sconto
SCONTO PER TE
⭐
⭐
⭐
$79.99
$49.99/anno
Solo $4.16 al mese
Continua
Bastano 2 tocchi per iniziare, cancellare è facilissimo
Impostazioni
Generali
Widget
Caricamento...