L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2239

 
Fast235:

tastiera sottile+touch, uno dei due sarà difettoso

questo è sicuramente difettoso.

 
Ho scaricato i file (campione) da quel concorso che non posso citare, e sono tutti in formato .parguet, penso di aver trovato una soluzione, ma ho bisogno di python, qualcuno può convertirli in csv?
Convert Parquet to CSV
Convert Parquet to CSV
  • 2018.07.06
  • Joe Joe 7,987 10 10 gold badges 50 50 silver badges 110 110 bronze badges
  • stackoverflow.com
How to convert Parquet to CSV from a local file system (e.g. python, some library etc.) but WITHOUT Spark? (trying to find as simple and minimalistic solution as possible because need to automate everything and not much...
 
elibrarius:

Il mercato, i partecipanti e i loro algoritmi cambiano nel tempo. È strano che vi aspettiate un sistema stabile addestrato una volta. Riallenamento una volta alla settimana o ogni giorno (sugli alberi è veloce).

Questa è una domanda filosofica :)

Bisogna capire quanto velocemente cambia il mercato, la frequenza di riqualificazione dipende da questo, come lo misurate?

Penso che il mercato sia composto da molte predisposizioni diverse, il loro insieme è limitato, e io insegno solo il modello per identificare quella predisposizione e fare soldi da essa.

 
Vladimir Perervenko:

Perché non ti piacciono le cose fuori dagli schemi ? In realtà avete bisogno solo della parte responsabile della comunicazione tra MKL e Python (ZeroMQ).

Buona fortuna

Non lo sapevo)) Grazie!

 
Maxim Dmitrievsky:

Solo che non capisco bene perché complicare il compito con le immagini, quando lo si può fare con 1d convolution? :) una foto non aggiunge alcuna informazione alla riga

Sì, hai ragione, se un vettore di caratteristiche convertito in una matrice e alimentato alla convoluzione, non cambierà molto (ho già controllato :))) Nel mio caso, l'idea è di utilizzare al massimo le proprietà della rete convoluzionale per trovare e utilizzare i modelli locali. Questi modelli sono invarianti rispetto alla traslazione, cioè una convoluzione multistrato può trovare lo stesso modello in posti diversi dell'immagine. La stessa architettura con riduzione intermedia aggressiva della mappa delle caratteristiche permette di formare una gerarchia tra i modelli in diversi strati di convoluzione. Quindi, sto cercando di trovare una tale interpretazione grafica della citazione che permetta alla convoluzione di trovare questi modelli.

 
welimorn:

Sì, hai ragione, se il vettore di caratteristiche è convertito in una matrice e alimentato alla convoluzione, non cambierà molto (già controllato :))) Nel mio caso, l'idea è di utilizzare al massimo la proprietà della rete di convoluzione di cercare e utilizzare i modelli locali. Questi modelli sono invarianti al trasferimento, cioè la convoluzione multistrato può trovare lo stesso modello in posti diversi dell'immagine. Allo stesso modo, un'architettura con riduzione intermedia aggressiva della mappa delle caratteristiche permette di formare una gerarchia tra modelli su diversi strati di convoluzione. Quindi, sto cercando di trovare un'interpretazione grafica di una citazione che permetta alla convoluzione di trovare questi modelli.

E come si converte un vettore in una matrice?

 
welimorn:

Sì, hai ragione, se il vettore di caratteristiche è convertito in una matrice e alimentato alla convoluzione, non cambierà molto (già controllato :))) Nel mio caso, l'idea è di utilizzare al massimo la proprietà della rete di convoluzione di cercare e utilizzare modelli locali. Questi modelli sono invarianti rispetto alla traslazione, cioè una convoluzione multistrato può trovare lo stesso modello in posti diversi dell'immagine. Allo stesso modo, l'architettura con riduzione intermedia aggressiva della mappa delle caratteristiche ci permette di formare una gerarchia tra modelli su diversi strati di convoluzione. Quindi, sto cercando di trovare un'interpretazione grafica di una citazione che permetta alla convoluzione di trovare questi modelli.

A proposito. È giusto che cerchiamo i modelli in diversi punti del grafico?
Non credo.
Per esempio, abbiamo trovato qualche modello a 20 punti dopo il quale dovremmo comprare. E se questo modello non era sulla barra 0-m ma 20-50-200 barre fa ed è troppo tardi per comprare, dovremmo vendere. Il rovescio lo troverà e lo comprerà. Risponderà alla domanda se il modello si trovava nella sezione del grafico indicato. Ma dovremmo cercare il modello solo nella parte destra del grafico, cioè nella 0a barra.

Così si scopre che le reti convoluzionali non sono adatte a lavorare con le citazioni. L'apparizione del modello in qualsiasi altro posto che non sia la 0a barra non farà che interferire con un lavoro redditizio.
Se il grafico ha 100 punti e il modello ne ha 20. Allora la rete di convoluzione segnalerà che c'è un modello 80 volte!!!

Stavo per farli, ma ho appena cambiato idea.
 
welimorn:

Sì, hai ragione, se il vettore di caratteristiche è convertito in una matrice e alimentato alla convoluzione, non cambierà molto (già controllato :))) Nel mio caso, l'idea è di utilizzare al massimo la proprietà della rete di convoluzione di cercare e utilizzare modelli locali. Questi modelli sono invarianti al trasferimento, cioè la convoluzione multistrato può trovare lo stesso modello in posti diversi dell'immagine. Anche l'architettura con riduzione intermedia aggressiva della mappa delle caratteristiche permette di formare una gerarchia tra modelli su diversi strati di convoluzione. Quindi, sto cercando di trovare un'interpretazione grafica di una citazione che permetta alla convoluzione di trovare questi modelli.

Si potrebbe provare con i diagrammi di ricorrenza. L'ho fatto, ma non ha funzionato, ed è di nuovo lento.

 
Maxim Dmitrievsky:

si potrebbe provare con i diagrammi di ricorrenza. L'ho fatto, ma non ha funzionato, ed è lento, di nuovo.

o una decomposizione in serie, PCA per esempio con una trasformazione inversa....

è possibile scomporre la serie in atomi e riassemblarla.


ecco i primi due componenti nella finestra di 100

qui ci sono 2 e 3 componenti

qui ci sono 3 e 4 componenti

qui ci sono 30 e 31 componenti

in questo modo si può decomporre fino a 100, una cosa figa...

tutto questo su dati nuovi, nessun ritardo ecc...


......

......

.....

Huh... La maggior parte delle persone non ha nemmeno capito di cosa stavo parlando )))) probabilmente))

 
mytarmailS:

o decomposizione di serie, PCA per esempio con trasformazione inversa....

la serie può essere atomizzata e riassemblata


ecco i primi due componenti della finestra 100

qui ci sono 2 e 3 componenti

qui ci sono 3 e 4 componenti

qui ci sono 30 e 31 componenti

in questo modo si può decomporre fino a 100, una cosa figa...

tutto questo su dati nuovi, nessun ritardo ecc...


......

......

.....

Huh... La maggior parte della gente non sa nemmeno di cosa sto parlando )))) ))

Questo è sicuro. La maggior parte non ha capito affatto di cosa stavate parlando. Beh, è così che deve essere.

Siete arrivati per vie traverse alla costruzione, che è ben nota, ampiamente applicata nella pratica e ben provata, chiamata "sistema di tracciamento nonius". E anche se non ancora in modo completo, avete capito il succo della questione.