Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
Lezione 11 --Ottimizzazione per il Deep Learning -- Frank Schneider
Numerics of ML 11 --Ottimizzazione per il Deep Learning -- Frank Schneider
Frank Schneider discute le sfide dell'ottimizzazione per il deep learning, sottolineando la complessità dell'addestramento delle reti neurali e l'importanza di selezionare i metodi e gli algoritmi di ottimizzazione giusti. Rileva il numero enorme di metodi disponibili e la difficoltà nel confrontare e confrontare diversi algoritmi. Schneider fornisce esempi reali di addestramento di successo di modelli linguistici di grandi dimensioni e la necessità di programmi di velocità di apprendimento non predefiniti e modifiche a metà volo per fare in modo che il modello venga addestrato correttamente. Schneider sottolinea l'importanza di fornire agli utenti maggiori informazioni su come utilizzare questi metodi e su come gli iperparametri influenzano il processo di formazione, nonché la creazione di esercizi di benchmarking per aiutare i professionisti a selezionare il metodo migliore per il loro caso d'uso specifico. Discute anche di metodi più recenti come Alpha e di come può essere sfruttato per guidare il processo di addestramento per una rete neurale.
Nella seconda parte del video sui numeri dell'ottimizzazione per il deep learning, Frank Schneider introduce il Cockpit dello strumento "Deep Debugger", che fornisce strumenti aggiuntivi per rilevare e risolvere problemi nel processo di addestramento, come bug di dati e blocchi di modelli. Spiega l'importanza di normalizzare i dati per iperparametri ottimali, la relazione tra i tassi di apprendimento e l'accuratezza dei test e le sfide dell'addestramento delle reti neurali con stocasticità. Schneider incoraggia gli studenti a lavorare per migliorare l'addestramento delle reti neurali considerando il gradiente come una distribuzione e sviluppando metodi autonomi migliori a lungo termine.
Lezione 12 -- Ottimizzazione di secondo ordine per il deep learning -- Lukas Tatzel
Numerics of ML 12 -- Ottimizzazione di secondo ordine per il deep learning -- Lukas Tatzel
In questo video, Lukas Tatzel spiega i metodi di ottimizzazione di secondo ordine per il deep learning e i loro potenziali vantaggi. Confronta le traiettorie ei tassi di convergenza di tre metodi di ottimizzazione - SGD, Adam e LBFGS - utilizzando l'esempio della funzione di Rosenberg in 2D. Tatzel osserva che il comportamento nervoso di SGD rende la convergenza più lenta rispetto ai passaggi ben informati di LBFGS. Introduce il passo di Newton come un metodo più veloce per l'ottimizzazione e ne discute i limiti, come la dipendenza dal numero di condizione. Tatzel spiega anche il concetto di matrice di Gauss-Newton generalizzata (GGN) come approssimazione dell'Assia per affrontare problemi mal condizionati. Inoltre, discute il problema della regione di fiducia, come trattare le funzioni obiettivo non convesse e l'approccio Hessian-free che utilizza CG per minimizzare le funzioni quadratiche.
Questa seconda parte del video esplora le tecniche di ottimizzazione di secondo ordine per il deep learning, tra cui BFGS e LBFGS, ottimizzazione Hessian-free e KFC. Il relatore spiega che l'approccio Hessian-free linearizza il modello utilizzando il prodotto Jacobian Vector, mentre KFC è una curvatura approssimativa basata su metriche di informazioni ufficiali. Tuttavia, con questi metodi possono verificarsi stocasticità e distorsioni e si consiglia lo smorzamento per risolvere questi problemi. Il relatore propone l'uso di algoritmi specializzati che possono utilizzare quantità più ricche come le distribuzioni per effettuare aggiornamenti e osserva che il problema fondamentale della stocasticità rimane irrisolto. Nel complesso, i metodi di ottimizzazione di secondo ordine offrono una soluzione parziale alle sfide del deep learning.
Lezione 13 -- L'incertezza nel Deep Learning -- Agustinus Kristiadi
Numerics of ML 13 -- L'incertezza nell'apprendimento profondo -- Agustinus Kristiadi
Il video discute l'incertezza nell'apprendimento profondo, in particolare nei pesi delle reti neurali, e l'importanza di incorporare l'incertezza dovuta al problema dell'eccessiva sicurezza asintotica, in cui le reti neurali forniscono previsioni ad alta fiducia per esempi fuori distribuzione che non dovrebbero essere classificati con certezza. Il video fornisce approfondimenti su come utilizzare le quantità di secondo ordine, in particolare le stime di curvatura, per ottenere l'incertezza nelle reti neurali profonde, utilizzando una distribuzione gaussiana per approssimare i pesi dell'ultimo strato e la matrice Hessiana per stimare la curvatura della rete neurale. Il video discute anche il formalismo bayesiano e le approssimazioni di LaPlace per la selezione di modelli e parametri di reti neurali.
Nella seconda parte della conferenza Agustinus Kristiadi discute vari modi per introdurre l'incertezza nei modelli di deep learning in questo video. Una tecnica prevede l'utilizzo di approssimazioni di Laplace linearizzate per trasformare una rete neurale in un modello gaussiano. Un altro approccio è la formazione fuori distribuzione, in cui si aggiunge l'incertezza nelle regioni che non sono coperte dal set di formazione originale. Kristiadi sottolinea l'importanza di aggiungere incertezza per prevenire un'eccessiva fiducia nel modello e suggerisce di utilizzare misure probabilistiche per evitare il costo di trovare il posteriore ideale. Queste tecniche saranno esplorate ulteriormente in un prossimo corso sull'apprendimento automatico probabilistico.
Lezione 14 -- Conclusione -- Philipp Hennig
Numeri di ML 14 -- Conclusione -- Philipp Hennig
Philipp Hennig fornisce un riassunto del corso "Numerics of Machine Learning", sottolineando l'importanza di risolvere problemi matematici nell'apprendimento automatico relativi all'analisi numerica, come l'integrazione, l'ottimizzazione, le equazioni differenziali e l'algebra lineare. Discute la complessità dell'esecuzione dell'algebra lineare su un set di dati e come si collega all'unità di elaborazione e al disco. Hennig copre anche argomenti come la gestione di insiemi di dati di dimensioni non banali, algoritmi per la risoluzione di sistemi lineari, la risoluzione di equazioni alle derivate parziali e la stima di integrali. Conclude riconoscendo la difficoltà nell'addestrare reti neurali profonde e la necessità di soluzioni per superare il problema della stocasticità.
Nella conclusione della sua serie di conferenze, Philipp Hennig sottolinea l'importanza di andare oltre il semplice addestramento dei modelli di apprendimento automatico e sapere quanto il modello sa e cosa non sa. Parla della stima della curvatura della funzione di perdita per costruire stime di incertezza per reti neurali profonde e dell'importanza di essere probabilistici ma non necessariamente applicare il teorema di Bayes in ogni caso a causa della complessità computazionale. Hennig sottolinea anche l'importanza del calcolo numerico nell'apprendimento automatico e la necessità di sviluppare nuove modalità di calcolo incentrate sui dati. Infine, chiede feedback sul corso e discute il prossimo esame.
Supporta Vector Machine (SVM) in 7 minuti: divertente apprendimento automatico
Supporta Vector Machine (SVM) in 7 minuti: divertente apprendimento automatico
Il video spiega Support Vector Machines (SVM), un algoritmo di classificazione utilizzato per set di dati con due classi che disegna un confine decisionale, o iperpiano, basato sugli estremi del set di dati. Discute anche di come SVM può essere utilizzato per set di dati non linearmente separabili trasformandoli in spazi di caratteristiche dimensionali superiori usando un trucco del kernel. Il video identifica i vantaggi di SVM come l'efficacia in spazi ad alta dimensione, l'efficienza della memoria e la possibilità di utilizzare kernel diversi per funzioni personalizzate. Tuttavia, il video identifica anche gli svantaggi dell'algoritmo, come le scarse prestazioni quando il numero di funzionalità è maggiore del numero di campioni e la mancanza di stime di probabilità dirette, che richiedono costose convalide incrociate.
"La rivoluzione del deep learning" - Geoffrey Hinton - Conferenza del presidente di RSE 2019
"La rivoluzione del deep learning" - Geoffrey Hinton - Conferenza del presidente di RSE 2019
Geoffrey Hinton, noto come il "Padrino del Deep Learning", discute la storia e l'evoluzione del deep learning e delle reti neurali, le sfide e le entusiasmanti possibilità dell'utilizzo del deep learning per creare macchine in grado di apprendere allo stesso modo dei cervelli umani e il trucchi e tecniche che hanno reso più efficace la retropropagazione. Descrive anche il successo delle reti neurali nel riconoscimento vocale e nella visione artificiale, l'evoluzione delle reti neurali per la visione artificiale e la pre-formazione senza supervisione e la loro efficacia nella modellazione linguistica e nella traduzione automatica. Conclude evidenziando il valore del ragionamento per analogia e discute la sua teoria delle "capsule" e del collegamento della conoscenza in un modello che predice le parti dal tutto.
Geoffrey Hinton, un pioniere dell'apprendimento profondo, tiene una conferenza sostenendo l'integrazione di memorie associative, memorie veloci e scale temporali multiple nelle reti neurali per consentire la conoscenza a lungo termine e l'archiviazione temporanea, necessaria per il ragionamento reale. Inoltre, discute l'atto di bilanciamento tra credenze e dati precedenti, il potenziale dell'apprendimento non supervisionato, l'efficienza delle reti convoluzionali nel riconoscere gli oggetti con l'incorporazione della conoscenza del punto di vista e dell'equivarianza traduzionale e la necessità di combinare il ragionamento simbolico con le reti connessioniste, come il trasformatore reti. Affronta anche la questione dei pregiudizi inconsci nell'apprendimento automatico e ritiene che possano essere risolti più facilmente dei pregiudizi umani identificando e correggendo i pregiudizi. Infine, sottolinea la necessità di maggiori finanziamenti e sostegno per i giovani ricercatori nel campo dell'IA.
Come funziona effettivamente ChatGPT
Come funziona effettivamente ChatGPT
ChatGPT è un modello di machine learning in grado di identificare correttamente i contenuti dannosi nelle conversazioni in chat. La sua architettura si basa sull'input umano e le sue carenze sono delineate. Vengono fornite anche letture consigliate.
Apprendimento automatico da zero Corso completo
Apprendimento automatico da zero Corso completo
Implementare tu stesso i modelli di machine learning è uno dei modi migliori per padroneggiarli. Nonostante sembri un compito impegnativo, spesso è più facile di quanto potresti immaginare per la maggior parte degli algoritmi. Nei prossimi 10 giorni, utilizzeremo Python e occasionalmente Numpy per calcoli specifici per implementare un algoritmo di machine learning ogni giorno.
Puoi trovare il codice nel nostro repository GitHub: https://github.com/AssemblyAI-Examples/Machine-Learning-From-Scratch
Come implementare KNN da zero con Python
Codice: https://github.com/AssemblyAI-Examples/Machine-Learning-From-Scratch/tree/main/01%20KNN
Come implementare KNN da zero con Python
Nel video intitolato "Come implementare KNN da zero con Python", il relatore spiega come creare un classificatore KNN da zero utilizzando Python. Coprono i passaggi coinvolti nell'implementazione dell'algoritmo, come il calcolo della distanza tra il nuovo punto dati e altri punti nel set di dati, la selezione dei k punti più vicini e la determinazione dell'etichetta per la classificazione o la media per la regressione. Il relatore implementa l'algoritmo utilizzando una classe in Python e dimostra la sua corretta implementazione sul set di dati dell'iride con un tasso di precisione del 96%. Invitano inoltre gli spettatori a controllare il codice sul loro repository Github e a porre domande nella sezione dei commenti.
Come implementare la regressione lineare da zero con Python
Codice: https://github.com/AssemblyAI-Examples/Machine-Learning-From-Scratch/tree/main/02%20Linear%20Regression
Come implementare la regressione lineare da zero con Python
Questo video illustra il processo di implementazione della regressione lineare da zero utilizzando Python. Il relatore spiega come trovare la linea di adattamento migliore utilizzando l'errore quadratico medio e come calcolare i pesi e le distorsioni con la discesa del gradiente. Il relatore discute anche di come il tasso di apprendimento influisce sulla convergenza e dimostra come testare il modello utilizzando la funzione del set di dati di scikit-learn. Correggono anche un errore di battitura nel codice e regolano il tasso di apprendimento per migliorare l'adattamento della linea di previsione. Il codice è condiviso su GitHub e gli spettatori sono invitati a porre domande.
il risultato e l'errore dell'equazione vengono calcolati, rendendo più semplice l'utilizzo della moltiplicazione di matrici con tutti i punti dati per calcolare i gradienti. Durante il test, un modello addestrato prevede i risultati utilizzando l'equazione.