L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2253

 
Vladimir Perervenko:

Diciamo (non tutto nel codice Python ha senso per me). Dov'è la formazione per questo BAE?

È in pyTorch?

tutto su torcia

il codificatore funziona, solo che i risultati sono peggiori

in breve, il modello di distanza Kullback-Leibner è molto difficile da imparare, è un problema descritto con i codificatori di variazione

infatti, l'algoritmo "converge" dopo 2-3 epoche e non succede più nulla

Uno dei principali svantaggi degli autocodificatori variazionali è che l'integrale del termine di divergenza KL non ha una soluzione analitica in forma chiusa tranne che per una manciata di distribuzioni. Inoltre, non è semplice usare distribuzioni discrete per il codice latentez z . Questo perché il backpropagation attraverso le variabili discrete non è generalmente possibile, rendendo il modello difficile da addestrare in modo efficiente. Un approccio per fare questo nell'impostazione VAE è stato introdottoqui
.
Discrete Variational Autoencoders
  • arxiv.org
Download PDF Probabilistic models with discrete latent variables naturally capture datasets composed of discrete classes. However, they are difficult to train efficiently, since backpropagation through discrete variables is generally not possible. We present a novel method to train a class of probabilistic models with discrete latent variables...
 
mytarmailS:

avete accesso ai pesi della rete e la possibilità di cambiarli?

Certo, ma non ne ho bisogno.

 
Maxim Dmitrievsky:

tutti sulla torcia.

il codificatore funziona, solo che i risultati sono peggiori.

in breve, il modello di distanza Kullback-Leibner è molto difficile da imparare, questo è un problema descritto dei codificatori di variazione

infatti, l'algoritmo "converge" dopo 2-3 epoche e non succede più nulla

Uno dei principali svantaggi degli autocodificatori variazionali è che l'integrale del termine di divergenza KL non ha una soluzione analitica in forma chiusa tranne che per una manciata di distribuzioni. Inoltre, non è semplice usare distribuzioni discrete per il codice latentez z . Questo perché il backpropagation attraverso le variabili discrete non è generalmente possibile, rendendo il modello difficile da addestrare in modo efficiente. Un approccio per fare questo nell'impostazione VAE è stato introdottoqui
.

L'articolo tratta una questione leggermente diversa. Si occupa del caso in cui tutti i predittori sono discreti [0, 1]. Allora c'è un problema. La rete neurale non capisce i predittori con variazione zero.

Il tuo caso, da quanto ho capito, è leggermente diverso. Avete combinato i predittori (continui) e l'obiettivo (matrice discreta ncol=3) nell'input. Si cerca di ottenere una distribuzione qualitativa di latenti a partire dalla quale si generano (ripristinano) quelli di input compreso quello di destinazione praticamente senza addestramento. Ho capito bene: non avrà successo qualitativamente. L'articolo mostra la via della soluzione. Per convertire l'obiettivo discreto in continuo usando RBM, connettersi con altri predittori e usare BAE (formazione!). E poi recuperare gli esempi dal VAE addestrato e ripristinare l'obiettivo di nuovo con RBM. È piuttosto complicato. Ma può funzionare.

Lo proverò con un normale AE.

Buona fortuna

 
Vladimir Perervenko:

L'articolo parla di qualcos'altro. Si occupa del caso in cui tutti i predittori sono discreti [0, 1]. Allora c'è un problema. La rete neurale non capisce i predittori con variazione zero.

Il tuo caso, da quanto ho capito, è leggermente diverso. Avete combinato i predittori (continui) e l'obiettivo (matrice discreta ncol=3) nell'input. Si cerca di ottenere una distribuzione qualitativa dei latenti da cui si generano (ripristinano) quelli di input, compreso quello di destinazione. Ho capito bene: non avrà successo qualitativamente. L'articolo mostra la via della soluzione. Per convertire l'obiettivo discreto in continuo usando RBM, connettersi con altri predittori e ulteriormente a VAE (formazione!). E poi recuperare gli esempi dal VAE addestrato e ripristinare l'obiettivo di nuovo con RBM. È piuttosto complicato. Ma può funzionare.

Lo proverò con un normale AE.

Buona fortuna

Ho il CVAE. Sulle etichette di classe del codificatore e del decodificatore (1,0) tra le altre cose. Ma ho confrontato VAE e CVAE, i risultati non sono molto diversi (ugualmente mediocri)

Gli obiettivi non sono ricostruiti, ma impostati durante la generazione delle caratteristiche. Cioè per quale obiettivo generare le caratteristiche. Negli esempi di generazione di immagini questo è ciò che viene fatto, solo che ci sono più obiettivi, quindi sono fatti van-hot

Stavo guardando le tabelle di confronto VAE e GAN. Quest'ultimo è molto meglio per generare, sto pensando di sputare sui codificatori. Non sono così entusiasta di reinventare la ruota.

Potrebbe avere senso convertire in continuo, sì... ma non è una certezza.

C'è una piccola possibilità che sto facendo qualcosa di sbagliato ... ma hanno praticato su gattini prima )

Z.U. anche nell'esempio con i numeri, impara solo 10 epoche e poi l'errore smette di scendere

 
Qualcuno ha provato il relativo metodo vettoriale?
 

Gli autocodificatori sono più adatti per comprimere i dati a dimensioni inferiori o per generare vettori semantici da essi. Dove le GAN sono più adatte a generare dati

https://medium.com/lis-computer-vision-blogs/gans-cgans-ae-aae-ave-caae-cave-2e7d23255b52

Credo che i risultati siano sfocati a causa della compressione dei dati. Anche se si aumenta il numero di neuroni, ci sarà comunque una certa compressione, uno spostamento verso una distribuzione diversa. I nuovi dati saranno sempre spalmati, lisciati, ecc. E non voglio una sbavatura, voglio campioni plausibili.

Si può ottenere esattamente lo stesso aspetto gelido comprimendo i campioni in PCA, poi convertendoli in GMM, e poi decomprimendoli da PCA. L'ho fatto, e si è rivelato anche così confuso.

Coder è PCA + GMM in una bottiglia, se volete fare un'analogia

GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
GANs, cGANs, AE, AAE, AVE, CAAE, CAVE
  • Li Yin
  • medium.com
The difference between each other. The purpose of this article is to see the difference of concepts between GANs, conditional GANs, Autoencoder (AE), adversarial autoencoder (AAE), and conditional adversarial autoencoder (CAAE). Unconditional GAN The generator ( G ) and discriminator ( D ) are both feedforward neural networks which play a...
 
Aleksey Vyazmikin:
Qualcuno ha provato il relativo metodo vettoriale?

sarai il primo

Maxim Dmitrievsky:

Si può ottenere esattamente lo stesso aspetto sfocato comprimendo gli attributi PCA, poi convertendoli in GMM, e poi decomprimendoli da PCA. L'ho fatto e ho ottenuto lo stesso casino.

Encoder è PCA + GMM in un unico pacchetto, se volete fare un'analogia.

Quindi, lasciate tutti i componenti PCA e non avrete sbavature, avrete un'immagine nitida.

 
mytarmailS:

Sarai il primo.

Quindi lasciate tutti i componenti del PCA e non avrete una sbavatura, avrete un'immagine chiara.

No, la conversione inversa aggiunge un sacco di rumore

o forse no... ma sembra così
 
Maxim Dmitrievsky:

non lo farà, la conversione inversa del nagenerato aggiunge molto rumore

Non capisco, gmm aggiunge già del rumore o cosa?

 
mytarmailS:

Non capisco, il gmm si aggiunge già al rumore? O cosa?

Non ci ho pensato molto, solo un'ipotesi basata su alcune ricerche.

gmm vi darà caratteristiche che non avete mai visto prima. Ma simile a quelli che avete visto. In una trasformazione inversa potrebbe avere qualche effetto, credo. Aggiungete un po' di rumore.

È un'ipotesi.