Apprendimento automatico e Reti Neurali - pagina 21
Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
CONFERENZA JENSEN HUANG (NVIDIA) e ILYA SUTSKEVER (OPEN AI). AI OGGI E VISIONE DEL FUTURO
CONFERENZA JENSEN HUANG (NVIDIA) e ILYA SUTSKEVER (OPEN AI). AI OGGI E VISIONE DEL FUTURO
Il CEO di NVIDIA, Jensen Huang, e il co-fondatore di OpenAI, Ilya Sutskever, discutono le origini e i progressi dell'intelligenza artificiale (AI) in una conferenza. Sutskever spiega come l'apprendimento profondo gli sia diventato chiaro, come l'apprendimento senza supervisione attraverso la compressione abbia portato alla scoperta di un neurone che corrispondeva al sentimento e come il pre-addestramento di una rete neurale abbia portato all'istruzione e al perfezionamento con la collaborazione umana e AI. Discutono anche dei progressi e dei limiti del GPT-4 e dell'apprendimento multimodale, nonché del ruolo della generazione di dati sintetici e del miglioramento dell'affidabilità dei sistemi di intelligenza artificiale. Nonostante siano lo stesso concetto di 20 anni fa, entrambi si meravigliano dei progressi compiuti nella ricerca sull'IA.
È ora di prestare attenzione all'IA (ChatGPT e oltre)
È ora di prestare attenzione all'IA (ChatGPT e oltre)
Il video discute lo sviluppo dell'intelligenza artificiale (AI) e come sta cambiando il modo in cui lavoriamo e viviamo. Alcune persone sono entusiaste del potenziale dell'IA, mentre altre sono preoccupate per le sue potenziali implicazioni. L'oratore fornisce anche un breve riassunto di un recente episodio di podcast.
La storia interna del sorprendente potenziale di ChatGPT | Greg Brockman | TED
La storia interna del sorprendente potenziale di ChatGPT | Greg Brockman | TED
In questa sezione del video, Greg Brockman discute il ruolo dell'intelligenza artificiale nel migliorare l'istruzione. Sostiene che i metodi educativi tradizionali sono spesso inefficienti e inefficaci, con gli studenti che lottano per conservare la conoscenza e gli insegnanti che lottano per insegnare in un modo che coinvolga ogni studente. Brockman suggerisce che l'intelligenza artificiale potrebbe aiutare a risolvere questi problemi fornendo esperienze di apprendimento personalizzate per ogni studente. Con gli strumenti AI, è possibile monitorare i progressi degli studenti in tempo reale, adattando il curriculum alle loro esigenze e preferenze. Ciò potrebbe portare a esperienze di apprendimento più coinvolgenti ed efficienti, consentendo agli studenti di conservare più conoscenze e agli insegnanti di concentrarsi su compiti più importanti. Brockman sottolinea inoltre l'importanza di progettare strumenti di intelligenza artificiale tenendo presente la privacy, garantendo che i dati degli studenti siano protetti e utilizzati solo per scopi didattici.
MIT Deep Learning nelle scienze della vita - Primavera 2021
MIT Deep Learning nelle scienze della vita - Primavera 2021
Il corso "Deep Learning in Life Sciences" applica l'apprendimento automatico a vari compiti delle scienze della vita ed è tenuto da un ricercatore in machine learning e genomica con un corpo docente di dottorandi e laureandi del MIT. Il corso copre le basi dell'apprendimento automatico, i circuiti regolatori dei geni, la variazione delle malattie, le interazioni e il ripiegamento delle proteine e l'imaging utilizzando TensorFlow tramite Python in una piattaforma Google Cloud. Il corso consisterà in quattro serie di problemi, un quiz e un progetto di gruppo, con sessioni di mentoring intervallate per aiutare gli studenti a progettare i propri progetti. L'istruttore sottolinea l'importanza di costruire una squadra con competenze e interessi complementari e fornisce varie pietre miliari e risultati per tutto il periodo. Il corso mira a fornire un'esperienza del mondo reale, compresa la scrittura di proposte di borse di studio e borse di studio, revisione tra pari, relazioni annuali e sviluppo di capacità di comunicazione e collaborazione. Il relatore discute le differenze tra l'intelligenza artificiale tradizionale e il deep learning, che costruisce una rappresentazione interna di una scena basata su stimoli osservabili, e sottolinea l'importanza del deep learning nelle scienze della vita a causa della convergenza di dati di addestramento, potenza di calcolo e nuovi algoritmi .
Il video è una lezione introduttiva sul deep learning nelle scienze della vita, che spiega l'importanza del machine learning e del deep learning nell'esplorazione della complessità del mondo. Il discorso si concentra sul concetto di inferenza bayesiana e su come svolga un ruolo cruciale nell'apprendimento automatico classico e profondo insieme alle differenze tra approcci generativi e discriminativi all'apprendimento. La conferenza evidenzia anche il potere delle macchine vettoriali di supporto, le prestazioni di classificazione e l'algebra lineare per comprendere le reti attraverso i sistemi biologici. Il relatore osserva che il corso tratterà vari argomenti dell'apprendimento profondo, tra cui la regolarizzazione, l'evitare l'overfitting e i set di formazione. La conferenza si conclude affrontando le questioni relative all'interpretabilità dei neuroni artificiali e delle reti profonde per le lezioni future.
Fondamenti di machine learning - Lezione 02 (primavera 2021)
Machine Learning Foundations - Deep Learning in Life Sciences Lezione 02 (primavera 2021)
Questa lezione copre le basi dell'apprendimento automatico, introducendo concetti come set di addestramento e test, tipi di modelli come discriminativo e generativo, valutazione delle funzioni di perdita, regolarizzazione e overfitting e reti neurali. Il docente prosegue spiegando l'importanza degli iperparametri, valutando l'accuratezza nelle scienze della vita, test di correlazione e calcoli di probabilità per il test del modello. Infine, vengono discusse le basi delle reti neurali profonde e la struttura di un neurone, evidenziando il ruolo della non linearità nell'apprendimento di funzioni complesse.
Nella seconda sezione della lezione viene spiegato il concetto di funzioni di attivazione nell'apprendimento approfondito, nonché il processo di apprendimento dell'aggiustamento dei pesi in modo che corrispondano alla funzione di output utilizzando le derivate parziali nell'ottimizzazione degli aggiornamenti dei pesi per ridurre al minimo gli errori, che è il fondamento del gradiente apprendimento basato. Viene introdotto il concetto di backpropagation come metodo per propagare i derivati attraverso una rete neurale al fine di regolare i pesi. Vengono discussi i vari metodi per ottimizzare i pesi in più strati di modelli di deep learning, inclusa la discesa del gradiente stocastico e il concetto di capacità del modello e la dimensione VC. Vengono discussi anche l'efficacia della capacità di un modello su un grafico, la distorsione e la varianza, insieme a varie tecniche di regolarizzazione come l'arresto anticipato e il decadimento del peso. Viene sottolineata l'importanza di trovare il giusto equilibrio tra la complessità e gli studenti sono incoraggiati a presentarsi positivamente ai loro compagni di classe.
Reti neurali convoluzionali delle CNN - Lezione 03 (primavera 2021)
Reti neurali convoluzionali delle CNN - Apprendimento approfondito nelle scienze della vita - Lezione 03 (primavera 2021)
Questa lezione video copre l'argomento delle reti neurali convoluzionali (CNN) nell'apprendimento approfondito per le scienze della vita. Il relatore discute i principi della corteccia visiva e il modo in cui si relazionano alle CNN, compresi gli elementi costitutivi dei sistemi visivi umani e animali, come gli elementi costitutivi di base della somma e del peso e la soglia di attivazione del bias di un neurone. Spiegano che le CNN utilizzano neuroni specializzati per operazioni di rilevamento di basso livello e livelli di unità nascoste per l'apprendimento di concetti astratti. La lezione copre anche il ruolo della convoluzione e dei livelli di raggruppamento, l'uso di più filtri per l'estrazione di più caratteristiche e il concetto di trasferimento dell'apprendimento. Infine, vengono discusse anche le non linearità e l'uso del riempimento per affrontare i casi limite nella convoluzione. Nel complesso, la conferenza evidenzia il potere e il potenziale delle CNN in una varietà di applicazioni delle scienze della vita.
La seconda parte della lezione copre vari concetti relativi alle reti neurali convoluzionali (CNN). Nella conferenza, il relatore parla dell'importanza di mantenere la dimensione dell'input nelle CNN, dell'aumento dei dati come mezzo per ottenere l'invarianza alle trasformazioni e delle diverse architetture CNN e delle loro applicazioni. La conferenza copre anche le sfide associate all'apprendimento nelle CNN profonde, gli iperparametri e il loro impatto sulle prestazioni complessive e gli approcci all'ottimizzazione degli iperparametri. Il relatore sottolinea l'importanza di comprendere i principi fondamentali alla base delle CNN e sottolinea la loro versatilità come tecnica applicabile in più contesti.
Recurrent Neural Networks RNNs, Graph Neural Networks GNNs, Long Short Term Memory LSTMs - Lezione 04 (Primavera 2021)
RNN di reti neurali ricorrenti, GNN di reti neurali a grafo, LSTM di memoria a lungo e breve termine
Questo video copre una serie di argomenti a partire dalle reti neurali ricorrenti (RNN) e dalla loro capacità di codificare il contesto temporale, che è fondamentale per l'apprendimento delle sequenze. Il relatore introduce il concetto di modelli markoviani nascosti e le loro limitazioni, che porta alla discussione dei moduli di memoria a lungo termine (LSTM) come un potente approccio per gestire lunghe sequenze. Il video discute anche del modulo trasformatore, che apprende le relazioni temporali senza srotolarsi o utilizzare RNN. Vengono introdotte le reti neurali a grafo e le loro potenziali applicazioni nella risoluzione di classici problemi di rete e nella biologia computazionale. Il discorso si conclude con una discussione sulle frontiere della ricerca nelle reti neurali a grafo, come la loro applicazione nei modelli di grafi degenerativi e l'inferenza di grafi latente.
Questa seconda parte del video tratta i moduli Recurrent Neural Networks (RNNs), Graph Neural Networks (GNNs) e Long Short Term Memory (LSTM). Spiega come le tradizionali reti neurali feedforward abbiano dei limiti quando si tratta di dati basati su grafici, ma i GNN possono gestire un'ampia gamma di invarianze e propagare informazioni attraverso il grafico. I relatori discutono anche di Graph Convolutional Networks (GCN) e dei loro vantaggi e sfide. Inoltre, il video descrive l'importanza delle funzioni di attenzione nel rendere i GNN più potenti e flessibili.
Interpretable Deep Learning - Deep Learning nelle scienze della vita - Lezione 05 (primavera 2021)
Interpretable Deep Learning - Deep Learning nelle scienze della vita - Lezione 05 (primavera 2021)
Questo video discute l'importanza dell'interpretabilità nei modelli di deep learning, in particolare nel campo delle scienze della vita, dove le decisioni possono avere conseguenze disastrose. Il relatore spiega due tipi di interpretabilità: incorporarla nella progettazione del modello fin dall'inizio e sviluppare metodi di interpretabilità post hoc per modelli già costruiti. Continuano esplorando diverse tecniche per interpretare i modelli, tra cui la visualizzazione del peso, la costruzione di modelli surrogati e la massimizzazione dell'attivazione, e discutono dell'importanza di comprendere le rappresentazioni interne del modello. Il docente spiega anche diversi metodi per interpretare le decisioni individuali, come i metodi basati su esempi e attribuzione. Inoltre, il relatore discute la sfida dell'interpretazione di concetti complessi e i limiti delle interpretazioni del modello di rete neurale, nonché l'esplorazione di ipotesi relative alla discontinuità dei gradienti nelle reti neurali di deep learning.
Nella seconda parte della conferenza, il relatore ha affrontato le sfide dei gradienti discontinui e delle funzioni saturate nei modelli di deep learning nel campo delle scienze della vita. Hanno proposto metodi come la media di piccole perturbazioni di input su più campioni per ottenere un gradiente più uniforme, utilizzando il rumore casuale per evidenziare le caratteristiche salienti nella classificazione delle immagini e tecniche di backpropagation come reti neurali deconvoluzionali e backpropagation guidata per interpretare i modelli di regolazione genica. Il relatore ha anche discusso la valutazione quantitativa dei metodi di attribuzione, inclusa la procedura di pixel flipping e l'approccio del punteggio di rimozione e sostituzione. Infine, hanno sottolineato la necessità di interpretabilità nei modelli di deep learning e le varie tecniche per ottenerla.
Modelli generativi, reti avversarie GAN, codificatori automatici variazionali VAE, apprendimento della rappresentazione - Lezione 06 (primavera 2021)
Modelli generativi, reti avversarie GAN, codificatori automatici variazionali VAE, apprendimento della rappresentazione - Lezione 06 (primavera 2021)
Questo video discute il concetto di apprendimento della rappresentazione nell'apprendimento automatico, sottolineandone l'importanza nelle attività di classificazione e il potenziale di innovazione nello sviluppo di nuove architetture. Le attività auto-supervisionate e pretestuose vengono introdotte come modi per apprendere rappresentazioni senza richiedere dati etichettati, attraverso tecniche come codificatori automatici e codificatori automatici variazionali (VAE). Il relatore discute anche di modelli generativi, come VAE e reti generative avversarie (GAN), che possono generare nuovi dati manipolando la rappresentazione dello spazio latente. Vengono discussi i pro ei contro di ciascun metodo, evidenziandone l'efficacia ma anche i limiti. Nel complesso, il video fornisce una panoramica completa dei diversi approcci all'apprendimento della rappresentazione e ai modelli generativi nell'apprendimento automatico.
Il video esplora i concetti di Generative Adversarial Networks (GAN), Variational Autoencoders (VAEs) e apprendimento della rappresentazione nei modelli generativi. I GAN coinvolgono il generatore e il discriminatore con obiettivi opposti e il processo di addestramento è lento per i campioni falsi, ma i miglioramenti nella risoluzione e nella funzione dell'obiettivo possono portare a immagini dall'aspetto realistico. Il relatore dimostra come i GAN possono generare stanze architettonicamente plausibili e trasferire una stanza all'altra. I VAE modellano esplicitamente le funzioni di densità e catturano la diversità delle immagini del mondo reale attraverso significativi parametri dello spazio latente. Il relatore incoraggia la creatività e la sperimentazione con architetture e modelli aperti e l'applicazione di modelli generativi e apprendimento della rappresentazione in vari domini è un campo in rapida crescita con possibilità illimitate.
Genomica normativa - Apprendimento approfondito nelle scienze della vita - Lezione 07 (primavera 2021)
Genomica normativa - Apprendimento approfondito nelle scienze della vita - Lezione 07 (primavera 2021)
La conferenza copre il campo della genomica regolatoria, comprese le basi biologiche della regolazione genica, i metodi classici per la genomica regolatoria, la scoperta di motivi mediante reti neurali convoluzionali e l'uso di modelli di apprendimento automatico per comprendere come la sequenza codifica le proprietà di regolazione genica. Il relatore spiega l'importanza dei motivi regolatori nella regolazione genica e come le interruzioni di questi motivi possono portare alla malattia. Introducono un nuovo modello utilizzando una rete neurale convoluzionale che mappa le letture di sequenziamento al genoma e conta quante estremità di cinque primi ha ciascuna coppia di basi sui due filamenti. Il modello può essere utilizzato per letture multiple di diverse proteine e può essere adattato separatamente o simultaneamente utilizzando un modello multitask. Il relatore mostra anche come il modello può analizzare qualsiasi tipo di analisi, compresi i dati genomici, utilizzando quadri di interpretazione che svelano storie biologiche su come la sintassi influisce sulla cooperatività TF. I modelli possono fare previsioni che vengono convalidate attraverso esperimenti CRISPR ad alta risoluzione.
Il video illustra come il deep learning può migliorare la qualità dei dati ATAC-seq a bassa copertura migliorando e riducendo i picchi di segnale. AttackWorks è un modello di deep learning che raccoglie i dati di copertura e utilizza un'architettura di rete neurale residua per migliorare l'accuratezza del segnale e identificare i siti di cromatina accessibili. Il relatore dimostra come AttackWorks può essere utilizzato per gestire dati di bassa qualità e aumentare la risoluzione dello studio dell'accessibilità della cromatina a singola cellula. Descrivono anche un esperimento specifico sulle cellule staminali ematopoietiche che ha utilizzato ATAC-seq per identificare specifici elementi regolatori coinvolti nel priming del lignaggio. Il relatore invita gli studenti a mettersi in contatto per stage o collaborazioni.
assomigliare. Una volta che hanno questo modello addestrato, possono applicarlo a piccole popolazioni di pochissime cellule per prevedere come sarebbero stati i dati se avessero avuto più cellule da sequenziare. Questo approccio aumenta significativamente la risoluzione alla quale possono studiare l'accessibilità della cromatina a singola cellula e mostrano che i modelli sono trasferibili tra esperimenti, tipi di cellule e persino specie.