L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2493

 
eccocom #:
Leggi la documentazione di TensorFlow, tutto è in forma di costruttore... praticamente. In realtà si tratta di scatole nere. Se ti interessa posso darti il codice del perceptron scritto a mano, e comunque sono tutti calcoli di matrice, è su questo che è costruito

Sono appena tornato al post di Evgeny Dyuka e il suo ServerNN (leggi il codice) su TensorFlow

perché mi sono imbattuto in una sorta di critica delle librerie Python sull'hobby

Nello stack Sklearn, i pacchetti xgboost, lightGBM avevano metodi integrati per stimare l'importanza delle caratteristiche per i "modelli di legno":

1.Gain
Questa misura mostra il contributo relativo di ogni caratteristica al modello. Per calcolarla, andiamo ad ogni nodo dell'albero, guardiamo quale caratteristica porta ad una divisione del nodo, e quanto si riduce l'incertezza del modello secondo la metrica (impurità Gini, guadagno di informazione).
Per ogni caratteristica, il suo contributo è sommato su tutti gli alberi.

2.Cover
Mostra il numero di osservazioni per ogni caratteristica. Diciamo che avete 4 caratteristiche, 3 alberi. Supponiamo che la fich 1 nei nodi contenga 10, 5 e 2 osservazioni rispettivamente negli alberi 1, 2 e 3. Allora l'importanza della fich data sarebbe 17 (10 + 5 + 2).

3.Frequency
Mostra quanto spesso una data caratteristica si verifica nei nodi dell'albero, cioè conta il numero totale di suddivisioni dell'albero per ogni caratteristica in ogni albero.

Il problema principale con tutti questi approcci è che non è chiaro esattamente come una data caratteristica influenzi la predizione del modello. Per esempio, abbiamo imparato che il livello di reddito è importante per valutare la capacità di un cliente della banca di pagare un prestito. Ma come esattamente? Quanto il reddito più alto sposta le previsioni del modello?

Vorrei evitare i "modelli in legno" qui, perché mangiano un sacco di RAM (e io sono un fan della velocità e della compattezza)...

- comunque, la risposta alla tua domanda è CONVENIENTE, INTERESSATA... Sì, è quello che ho pensato, Reti Neurali è tutto il calcolo delle matrici (ecco perché stavo chiedendo su di esso e le librerie per esso)

p.s.

Solo non capisco, se quelle librerie che sono nella citazione non possono predire i coefficienti polinomiali (risposta: di quanto), allora come possono descrivere un modello dinamico? (non lineare, non regressione [che è la stessa cosa])... è per questo che finora mi sono chiesto di fare un modello (cercando di ricordare la diferenziazione... con difficoltà)

Машинное обучение в трейдинге: теория, практика, торговля и не только
Машинное обучение в трейдинге: теория, практика, торговля и не только
  • 2021.10.23
  • www.mql5.com
Добрый день всем, Знаю, что есть на форуме энтузиасты machine learning и статистики...
 
JeeyCi #:

Sono appena tornato su un post di Evgeny Dyuka

perché mi sono imbattuto in una sorta di critica delle librerie Python sull'hobby

Nello stack Sklearn, i pacchetti xgboost, lightGBM avevano metodi integrati per stimare l'importanza delle caratteristiche per i "modelli di legno":

  1. Guadagno
    Questa misura mostra il contributo relativo di ogni caratteristica al modello. Per calcolarla, andiamo ad ogni nodo dell'albero, guardiamo quale caratteristica porta ad una divisione del nodo, e quanto l'incertezza del modello è ridotta secondo la metrica (impurità Gini, guadagno di informazione).
    Per ogni caratteristica, il suo contributo è sommato su tutti gli alberi.
  2. Cover
    Mostra il numero di osservazioni per ogni caratteristica. Diciamo che avete 4 caratteristiche, 3 alberi. Supponiamo che la fich 1 nei nodi contenga 10, 5 e 2 osservazioni rispettivamente negli alberi 1, 2 e 3. Allora l'importanza per questa fich è 17 (10 + 5 + 2).
  3. Frequenza
    Mostra quanto spesso una data caratteristica si verifica nei nodi dell'albero, cioè conta il numero totale di nodi dell'albero divisi per ogni caratteristica in ogni albero.


Il problema principale con tutti questi approcci è che non è chiaro esattamente come una data caratteristica influenzi la predizione del modello. Per esempio, abbiamo imparato che il livello di reddito è importante per valutare la capacità di un cliente della banca di pagare un prestito. Ma come esattamente? Quanto il reddito più alto sposta le previsioni del modello?

Beh, per i miei gusti il pitone è criticato da chi non lo sa cucinare. Tutte le altre cose sono più facili da fare non con soluzioni già pronte e scriverle usando le librerie, e comunque usando per esempio numpy si otterrà probabilmente più velocità del C++ dato che è scritto in Fortran. Tanto più che ora Python è facilmente integrabile con MT5 per così dire in linea retta, permette di utilizzare AI senza alcun server con socket.

 
JeeyCi #:

Sono appena tornato su un post di Evgeny Dyuka

perché mi sono imbattuto in una sorta di critica delle librerie Python sull'hobby

Nello stack Sklearn, i pacchetti xgboost, lightGBM avevano metodi integrati per stimare l'importanza delle caratteristiche per i "modelli di legno":

  1. Guadagno
    Questa misura mostra il contributo relativo di ogni caratteristica al modello. Per calcolarla, andiamo ad ogni nodo dell'albero, guardiamo quale caratteristica porta ad una divisione del nodo, e quanto l'incertezza del modello è ridotta secondo la metrica (impurità Gini, guadagno di informazione).
    Per ogni caratteristica, il suo contributo è sommato su tutti gli alberi.
  2. Cover
    Mostra il numero di osservazioni per ogni caratteristica. Diciamo che avete 4 caratteristiche, 3 alberi. Supponiamo che la fich 1 nei nodi contenga 10, 5 e 2 osservazioni rispettivamente negli alberi 1, 2 e 3. Allora l'importanza per questa fich è 17 (10 + 5 + 2).
  3. Frequenza
    Mostra quanto spesso una data caratteristica si verifica nei nodi dell'albero, cioè conta il numero totale di partizioni dei nodi dell'albero per ogni caratteristica in ogni albero.


Il problema principale con tutti questi approcci è che non è chiaro esattamente come una data caratteristica influenzi le previsioni del modello. Per esempio, abbiamo imparato che il livello di reddito è importante per valutare la capacità di un cliente della banca di pagare un prestito. Ma come esattamente? Quanto il reddito più alto sposta le previsioni del modello?

Tutti questi metodi non sono adatti. Ecco la loro convalida https://www.mql5.com/ru/blogs/post/737458
Gli alberi e le foreste sono veloci da contare - puoi anche solo aggiungere/rimuovere le caratteristiche una per una. E trovare quelli che migliorano e quelli che peggiorano il risultato.

Сравнение разных методов оценки важности предикторов.
Сравнение разных методов оценки важности предикторов.
  • www.mql5.com
Провел сравнение разных методов оценки важности предикторов. Тесты проводил на данных титаника (36 фичей и 891 строки) при помощи случайного леса из 100 деревьев. Распечатка с результатами ниже. За
 
Per quanto riguarda i modelli, non si tratta di loro, si tratta del fatto che l'IA è essenzialmente un approssimatore e questa è la sua forza in tutti gli altri casi tranne che nel mercato, poiché ci sono troppi pesci e gozilli sotto il mare liscio che causano onde di prezzo. Mentre il postulato che tutto è incorporato nel prezzo è vero, ce n'è troppo. Una rete neurale può essere solo una piccola parte di un sistema, e chi non è d'accordo con questo è impegnato in un'auto-illusione.
 
eccocom #:
Per quanto riguarda i modelli, non si tratta di loro, si tratta del fatto che l'IA è essenzialmente un approssimatore e questa è la sua forza in tutti gli altri casi tranne il mercato, poiché ci sono troppi pesci e gozilli sotto il mare liscio che causano onde di prezzo. Mentre il postulato che tutto è incorporato nel prezzo è vero, ce n'è troppo. La rete neurale non può essere che una piccola parte di un qualche sistema, e chi non è d'accordo è impegnato in un'auto-illusione.
E chi chiama gli updater AI, cosa fanno? )
 
mytarmailS #:
E chi chiama gli approssimatori AI cosa fa? )
Beh, probabilmente ho sbagliato a chiamarla AI, perché intendevo solo una rete neurale, ma è un caso speciale di AI. Faccio come tutti gli altri, cerco il Graal, lo faccio in modo facoltativo, senza fanatismo). Sono venuto qui per trovare idee per i modelli (nel senso di una rete neurale), avere qualcosa da condividere me stesso. 20 anni di esperienza non è certamente disponibile, ma per un centinaio di varianti del NS sono passato attraverso. Massima efficienza a brevi distanze, che ho raggiunto circa il 68%, ma probabilmente capite che non è stabile e situazionale.
 
eccocom #:
Beh, probabilmente ho sbagliato a chiamarla AI, dato che intendevo solo una rete neurale, che è un caso speciale di AI. Sono impegnato allo stesso modo di tutti gli altri, alla ricerca del Graal, facendolo in modo facoltativo, senza fanatismo). Sto cercando alcune idee su modelli (nel senso di rete neurale), hanno qualcosa da condividere me stesso. 20 anni di esperienza non è certamente disponibile, ma per un centinaio di varianti del NS sono passato attraverso. L'efficienza massima a brevi distanze che ho raggiunto è circa il 68%, ma probabilmente capite che non è stabile e situazionale.
Sì, certo che sì...
Ma attenzione agli esperti con 20 anni di esperienza, che elemosinano il codice dagli altri ;)
 
mytarmailS #:
Sì, certo che capisco...
Ma fate attenzione all'esperto ventenne che sta elemosinando il codice dagli altri ;)
Non mi interessa il codice, basta che la persona sia brava). A proposito, ho letto l'articolo di Mihail Marchukajtes e alcune delle idee che sono state usate lì sono anche nel mio uso, ma ho ragioni completamente diverse dall'autore. Sarebbe interessante discutere quali varianti di modello con quali strati sono più efficaci. Mikhail, a giudicare da prove indirette, sembra usare i livelli Sequential() full-link.

Mihail Marchukajtes
Mihail Marchukajtes
  • 2021.10.12
  • www.mql5.com
Профиль трейдера
 
eccocom #:
Non mi interessa il codice, se la persona è buona). A proposito, ho letto l'articolo di Mihail Marchukajtes. Anche io uso alcune idee che sono state applicate lì, ma le mie ragioni erano completamente diverse da quelle dell'autore. Sarebbe interessante discutere quali varianti di modello con quali strati sono più efficaci. Mikhail, a giudicare da prove indirette, sembra usare i livelli Sequential() full-link.

Non usa affatto i neuroni, usa un programma mediocre d'autore già pronto (qualche ibrido di SVM e MSUA), non programma né in Python né in R, quindi la parola Sequential() non gli è familiare, ha 20 anni di esperienza nelle reti neurali, è troppo presto per interessarsene...


 
mytarmailS #:
Non usa affatto i neuroni, usa un programma mediocre d'autore già pronto (è un ibrido di SVM e MGUA), non programma in Python o R-code, quindi la parola Sequental() gli è sconosciuta, 20 anni di esperienza nelle reti neurali, è ancora presto per essere coinvolto...


)))). Capisco, sembra che lei abbia un notevole bagaglio di comunicazione. Io stesso probabilmente scrivo 8 codici Hindu su 10 )), ma sarei felice di condividere la mia esperienza lo stesso. E sarebbe bello trovare chi scrive in Python e non solo la rete neurale, ma l'intera struttura degli EA in generale.