L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 451

 
Alexander Ivanov:
Reshetov si è presentato a Dio?

Si dice che io stesso non ero presente al funerale.

 

Non è legato al trading, solo un esperimento interessante.


Il Principal Component Approach (PCA) può essere usato per sopprimere il rumore nei dati, volevo vedere come avrebbe funzionato per pulire le immagini rumorose.

Ho preso l'immagine http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg e ci ho aggiunto del rumore.

Questa immagine può essere rappresentata come una matrice. L'altezza della matrice è uguale all'altezza dell'immagine, e la larghezza della matrice = larghezza dell'immagine x3 (come 3 canali di colore rosso, blu, verde).
E poi puoi usare i comuni strumenti di R per trovare i componenti principali, tenere solo quelli principali e usarli per cercare di ricostruire l'immagine originale. Si suppone che l'informazione sul rumore sia immagazzinata in componenti meno importanti, e scartando questi si scarta anche il rumore.

Ecco cosa è successo

Anche se la qualità dell'immagine ha sofferto, non c'è più grana. E per alcuni algoritmi di riconoscimento degli oggetti la seconda immagine può essere più adatta.

File:
 

Un filtro meno grossolano. I valori dei filtri possono essere cambiati nello script(SIZE_REDUCTION)


 
Dr. Trader:

Un filtro meno grossolano. I valori dei filtri possono essere cambiati nello script(SIZE_REDUCTION)


Sostituire un rumore con un altro :D

Tali immagini sgranate, tra l'altro, sono molto facilmente ingannate da NS della visione comp. Ho visto un articolo da qualche parte sui segnali stradali rumorosi che confondono il NS che riconosce i segnali :)

Sei bravo in R, cosa ti impedisce di provare le trame di ricaduta https://en.wikipedia.org/wiki/Recurrence_plot

diciamo, convertire i grafici in diagrammi di ricorrenza e insegnare la NS convoluzionale a queste immagini, poi dopo l'apprendimento alimentare un pezzo del grafico nella forma convertita, ottenere l'immagine risultante (predizione) e poi fare la conversione inversa alla forma normale

Intuitivamente, i diagrammi di ricorrenza saranno riconosciuti dalla computer vision molto più facilmente delle serie temporali, senza perdita di caratteristiche significative.

Ma deve essere controllato.

 
Ildottor Trader:

Anche se la qualità dell'immagine ha sofferto, non c'è più grana. E per alcuni algoritmi di riconoscimento degli oggetti, la seconda immagine potrebbe essere più adatta.

A mio parere, l'immagine mostra un'eccessiva ottimizzazione - la perdita di dati per prendere la decisione giusta.
 
Maxim Dmitrievsky:

Sei bravo in R, cosa ti impedisce di provare le trame di ricaduta https://en.wikipedia.org/wiki/Recurrence_plot

diciamo, convertire i grafici in diagrammi di ricorrenza e insegnare NS convoluzionale a queste immagini, poi dopo l'allenamento dare un pezzo di grafico nella forma convertita, ottenere l'immagine risultante (previsione) e poi fare la trasformazione inversa alla forma normale

Intuitivamente, i diagrammi di ricorrenza saranno riconosciuti dalla computer vision molto più facilmente delle serie temporali, senza perdita di caratteristiche significative.

Ma devo controllare.

Non ho provato Recurrence plot ma la sua descrizione è molto simile a quella di Arima, cerca anche le dipendenze di ricorrenza.

Potete anche disegnare il grafico di autocorrelazione con le funzioni acf() e pacf(), sarà in qualche modo simile al Recurrence plot, ma il grafico avrà un vettore invece del piano.

 
Ildottor Trader:

Non ho provato Recurrence plot, ma la descrizione è molto simile ad Arima, questo modello cerca anche le dipendenze di ricorrenza.

Potete anche disegnare il grafico di autocorrelazione usando le funzioni acf() e pacf() che sarà in qualche modo simile al Recurrence plot ma il grafico conterrà un vettore invece di un piano.


Beh, il vantaggio principale qui è che l'intero spazio è sempre riempito con una trama, non come una normale trama dall'alto o dal basso verso l'alto. Sarà più facile da identificare per la macchina, e le peculiarità dei modelli diranno di certe regolarità del modello particolare
 
Maxim Dmitrievsky:

Intuitivamente, i diagrammi di ricorrenza saranno riconosciuti dalla computer vision molto più facilmente delle serie temporali, senza perdita di attributi significativi.

Ma è necessario controllare.

L'ho provato e credo di averne anche scritto, il risultato è lo stesso che con il BP.



Il problema è che il mercato genera costantemente BP diversi, quelle cose che erano nel passato non si ripeteranno mai nel futuro se si guarda il mercato attraverso i BP o attraverso qualsiasi trasformazione di BP, quindi lavorare con tali caratteristiche è inutile per gli IR e anche per gli umani...

 
Ildottor Trader:

Non ha niente a che fare con il trading, solo un esperimento interessante.

Grazie! Con questo metodo puoi anche pulire i suoni dal rumore, ad esempio registrazioni vecchie o danneggiate, rimuovendo le loro componenti di rumore... Ma tutti questi compiti di analisi spettrale possono essere fatti non solo con PCA, ma anche con Fourier o wavelets
 
Dr. Trader: L'approccio delle componenti principali (PCA) può essere usato per sopprimere il rumore nei dati, volevo vedere come avrebbe funzionato per pulire le immagini rumorose....

Lasciando da parte l'esistenza di un gran numero di filtri per compiti simili,
in Photoshop, ecc., poi provare altri algoritmi di downsampling per la chiarezza -
ICA, NMF, SVD, ecc.
Ma finché si è interessati all'approccio autodinamico con elementi DM, si può usare il clustering, per esempio.
K-Means, EM-c, DBSCAN, t-SNE ecc.
1. Cerca di catturare il rumore.
2. Se siete fortunati, allora rimuovetelo.
3. Sostituire i vuoti con il vicino più vicino, ecc.
Poi gli diamo delle immagini con rumori diversi e vediamo come sono.
Se non puoi farlo tu, lascia che una ragazza con le matite lo ritocchi)))