L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 1934

Nuovo commento
 
Valeriy Yastremskiy:

E cosa volete ottenere?, con le armoniche fino a Fourier. O polinomi ortogonali, ce ne sono molti. Tutto può essere decomposto).

Non ho bisogno di decompormi, ho bisogno di creare. Ho bisogno di creare una funzione che soddisfi le mie esigenze, non so quale sia questa funzione.

Forse l'enumerazione per armoniche, ma considererò tutte le varianti.

In sostanza è la stessa approssimazione ma l'enumerazione non va sulla riduzione dell'errore ma sulla corrispondenza alla condizione.


Quindi, voglio sapere come è organizzata questa ricerca , anche in una semplice approssimazione armonica, cosa viene moltiplicato lì per cambiare la funzione?

Come funziona in generale il meccanismo di adattamento di una funzione all'altra?
 
mytarmailS:

Non ho bisogno di decompormi, ho bisogno di creare. Ho bisogno di creare una funzione dal tempo che soddisfi la mia condizione, quale funzione non conosco, quindi ho bisogno di creare una ricerca.

Probabilmente un'enumerazione armonica, ma considererò tutte le opzioni.

In sostanza è la stessa approssimazione ma non va sulla riduzione dell'errore ma sulla corrispondenza alla condizione.


Quindi voglio sapere come è organizzata questa ricerca , anche in una semplice approssimazione armonica, cosa viene moltiplicato lì per cambiare la funzione?

Come funziona in generale il meccanismo di adattamento di una funzione all'altra?

Non posso dire in formule, nel senso di decomposizione dal periodo più grande a quello più piccolo. Si trova l'armonica più grande, la si sottrae dal segnale reale, si trova la più grande dal resto e la si sottrae alla precisione richiesta. E nell'approssimazione (rappresentazione approssimativa del segnale reale mediante funzioni lineari spezzate rette) rappresentiamo l'armonica in sezioni discrete mediante linee rette. Se il campionamento è la metà di un periodo (se più di questo, non verrà fuori niente), otterremo "P" o linee rette tra gli estremi, e se un quarto o più, otterremo linee spezzate. E se diminuiamo il passo di campionamento, aumentiamo la precisione.

Se la selezione dei prezzi è lunga, può essere suddivisa in sezioni più brevi e le funzioni lineari, di potenza, armoniche e logaritmiche possono essere enumerate/selezionate su queste sezioni. Idealmente le armoniche e l'ortogonale lineare dovrebbero risolvere il problema. Provato più di una volta. Ma solo sulla storia.

Nessun punto con il mercato, abbiamo funzione / modello matematico cambiare nel tempo e nessun criterio chiaro, non dimostrato quanti dati sono necessari per determinare il modello matematico e la sua mancata corrispondenza con la stessa BP, oltre a discrezione in mezzo periodo non darà risultati, questo è stato dimostrato). Tutto empirico o NS con MO) ma anche esperienziale.

Nessuna funzione con condizioni mutevoli, abbiamo una serie di armoniche su questa sezione, un'altra sulla prossima. Il campionamento del suono è di 48 kilohertz, il doppio di quello che sentiamo, quindi perdiamo alle alte frequenze. E il digitale ha 2 livelli di segnale per periodo di 1/48000 sec.

 
mytarmailS:

Non ho bisogno di decompormi, ho bisogno di creare. Ho bisogno di creare una funzione dal tempo che soddisfi la mia condizione, quale funzione non conosco, quindi ho bisogno di creare una ricerca.

Probabilmente un'enumerazione armonica, ma considererò tutte le opzioni.

In sostanza è la stessa approssimazione ma l'enumerazione non va sulla riduzione dell'errore ma sulla corrispondenza alla condizione.


Quindi, voglio sapere come è organizzata questa ricerca , anche in una semplice approssimazione armonica, cosa viene moltiplicato lì per cambiare la funzione?

Come funziona il meccanismo di adattamento di una funzione all'altra?
La somma delle sinusoidi di diverso periodo e ampiezza A1*cos(2Pi*t/T1+Fi1)+ A2*cos(2Pi*t/T2+Fi2) +... A - ampiezza, T - periodo, Fi - fase
 
mytarmailS:

Quante volte te l'ho detto? 3? 5?

Allora perché se lo sono inventato, e il video che è stato postato prima con un uomo che ha usato questa specie di miracolo-diavolo e ha concluso che il campione è adatto all'allenamento...

 
Aleksey Vyazmikin:

Beh, perché l'hanno inventato, e il video è stato postato prima con un uomo che ha usato questo miracolo-diavolo e ha concluso che il campionamento è adatto all'allenamento...

ha usato t-sne (come) ma non importa, funziona e funziona bene ma non per il mercato come tutto il resto, basta scaricare qualsiasi dataset da internet e vedrai che funziona bene ma...

Ma posso trarre alcune conclusioni: i cluster sono stabili e stabili ma non correlano con il profitto, il target correla con il profitto ma si muove intorno ai cluster, probabilmente perché ogni target è una realtà oggettiva. Cercherò di riconoscere i pattern dai loro analoghi storici ma non dai prezzi, bensì dall'umap come volevo dall'inizio.


Rorschach:
armonica, è come un'onda di Fourier? Sono solo sinusoidi di periodi e ampiezze diverse sommate insieme A1*cos(2Pi*t/T1+Fi1)+ A2*cos(2Pi*t/T2+Fi2) +... A - ampiezza, T - periodo, Fi - fase

amico, è complicato.... Capisco le armoniche, ma probabilmente è stupido raccogliere serie di armoniche e provarle, probabilmente dovrebbe essere fatto come dipendenza di qualcosa da qualcosa, è fottutamente difficile.... ma se fatto, è un graal

 
mytarmailS:

Selezione delle caratteristiche[edit|edit code]

Articolo principale:Selezione delle caratteristiche

Un metodo diselezione delle caratteristiche cerca di trovare un sottoinsieme delle variabili originali (chiamate caratteristiche o attributi). Ci sono tre strategie - una strategia di filtro(ad esempio, l'accumulo di caratteristiche [it]), una strategia diavvolgimento(ad esempio, la ricerca in base alla precisione) e una strategia diincorporazione(selezionare le caratteristiche da aggiungere o rimuovere mentre il modello viene costruito, in base agli errori di previsione). Vedi anche problemi diottimizzazione combinatoria.

In alcuni casi, l'analisi dei dati, come laregressione o laclassificazione, può essere fatta nello spazio ridotto più accuratamente che nello spazio originale [3].

Proiezione di caratteristiche[edit|edit code]

La proiezione delle caratteristiche converte i dati dallospazio ad alta dimensione allo spazio a bassa dimensione. La trasformazione dei dati può essere lineare, come nelmetodo delle componenti principali(PCM), ma esistono diverse tecniche diridimensionamento non lineare [it] [4] [5]. Per i dati multidimensionali,una rappresentazionetensoriale può essere utilizzata per ridurre la dimensionalità attraverso l'addestramento polilineare dei sottospazi [it] [6].

Ho perso il testo con le vostre spiegazioni - mi correggo.

Ho subito una serie di domande:

1. Come ottenere il risultato della selezione delle caratteristiche con la loro trasformazione sotto forma di qualsiasi regola da usare separatamente nel codice?

2. Forse c'è un modo per visualizzare le caratteristiche selezionate e la loro trasformazione - attraverso un albero o qualcos'altro?

3. Avete provato queste strategie di selezione delle caratteristiche?

Il metodo diselezione delle caratteristiche cerca di trovare un sottoinsieme delle variabili originali (che sono chiamate caratteristiche o attributi). Ci sono tre strategie - una strategia di filtro(ad esempio, l'accumulo di caratteristiche [it]), una strategia diavvolgimento(ad esempio, la ricerca in base alla precisione), e una strategia diincorporazione(selezionando gli attributi da aggiungere o rimuovere mentre il modello viene costruito in base agli errori di previsione). Vedi anche problemi diottimizzazione combinatoria.

In alcuni casi, l'analisi dei dati come laregressione o laclassificazione può essere fatta nello spazio ridotto in modo più accurato che nello spazio originale [3].

mytarmailS:

Questo è quello che abbiamo fatto ieri.

Riduzione della dimensionalità[edit|edit code]

Per insiemi di dati ad alta dimensione (cioè con più di 10 dimensioni), il ridimensionamento è di solito fatto prima di applicare l'algoritmo k-nearest neighbours(k-NN), per evitare l'effetto dellamaledizione della dimensionalità [16].


Vantaggi della riduzione della dimensionalità[modifica]

  1. Riduce il tempo e la memoria necessari.
  2. La rimozione della multicollinearità migliora la velocità del modello di apprendimento automatico.
  3. È più facile rappresentare visivamente i dati quando sono ridotti a dimensioni molto basse, come il 2D o il 3D.

E dal codice mi sembrava che il clustering fosse separato, la costruzione della proiezione separata, e che poi dessimo solo i risultati del clustering per il color grading durante il rendering - no?

 
mytarmailS:

ha usato t-sne (come) ma non importa, beh, l'hanno inventato, e funziona e funziona benissimo ma non per il mercato, come tutto il resto, scaricate qualsiasi dataset da internet e vedete che la cosa funziona benissimo ma...

Ma posso trarre alcune conclusioni: i cluster sono stabili e stabili ma non risuonano con il profitto, il target risuona con il profitto ma si muove intorno ai cluster, probabilmente perché ogni target è una realtà oggettiva. Proverò a riconoscere i pattern usando gli analoghi storici, non usando i prezzi, ma usando umap come avevo previsto dall'inizio.

Quindi come si fa a segnarli sulla storia per la classificazione? E poi, quindi li avete riconosciuti, e poi? L'altro giorno stavo distribuendo su 4 cluster alla ricerca di obiettivi... A meno che non si cambi l'obiettivo da cluster a cluster. In generale abbiamo bisogno di capire perché le stringhe sono entrate in cluster diversi - analizzare la logica, se ce n'è una ed è contigua al mercato.

 
Aleksey Vyazmikin:

Hoperso il testo con le vostre spiegazioni - mi correggo.

Ho subito una serie di domande:

1. Come ottenere il risultato della selezione delle caratteristiche con la loro trasformazione sotto forma di qualsiasi regola per un'applicazione separata nel codice?

2. Forse c'è un modo per visualizzare le caratteristiche selezionate e la loro trasformazione - attraverso un albero o qualcos'altro?

3. Avete provato queste strategie di selezione delle caratteristiche?

4. E dal codice mi sembrava che il clustering fosse separato, la costruzione delle proiezioni era separata, e poi abbiamo solo alimentato i risultati del clustering per il color grading durante il rendering - no?


1. è lo stesso che volere 100k prezzi di chiusura descritti da regole per un'applicazione separata nel codice

2. gli attributi si presentano sotto forma di funzioni con tutto ciò che implica

3. Ho provato qualcosa; riduce la dimensionalità, ma la qualità non migliora, ma ancora, penso che sia figo comprimere 10k attributi a 500 senza perdere qualità; mi sembra figo, o a 50 con una perdita accettabile.

4. è vero, abbiamo prima diminuito la dimensionalità e poi clusterizzato, è scritto anche qui - -----. Per set di dati ad alta dimensionalità (cioè con un numero di dimensioni superiore a 10), ilridimensionamento viene solitamente fattoprima di applicare ilmetodo k-nearest neighbours

 
mytarmailS:


1. è lo stesso che volere che 100s di prezzi di chiusura siano descritti da regole per un uso separato nel codice

2. Le caratteristiche appaiono come funzioni con tutte le loro conseguenze

3. Ho provato qualcosa; riduce la dimensionalità, ma la qualità non aumenta, ma è ancora cool, ad esempio possiamo comprimere 10k attributi a 500 senza perdita di qualità, che trovo molto cool, o a 50 con una perdita accettabile.

4. è vero, abbiamo prima diminuito la dimensionalità e poi clusterizzato, lo dice qui - ----- Per set di dati ad alta dimensionalità (cioè con un numero di dimensioni superiore a 10), ladiminuzione della dimensionalità è solitamente fattaprima di applicare ilmetodo k-nearest neighbours

1. Devi aver frainteso la domanda - si tratta solo di scaricare le regole in un file, e ci sono delle regole, il che è stato confermato nel 2.

2.

3. Probabile alta correlazione tra i predittori, anche dopo la conversione? È possibile ottenere una lista di predittori ritirati o non sono ritirati ma fusi in gruppi appena - non riesco a capirlo.

4. Forse ho capito male il codice o l'ho raggruppato male, lo posterò di nuovo

#way <- "F:\\FX\\R\\tree_classification_2019_fS_Eks_29\\Test_Pred_ALL_01.csv"  #  ваш путь
way <- "F:\\FX\\R\\2020_04_11_Pred_New_Full\\Pred_New_Full.csv"  #  ваш путь

dt <- read.csv(file = way,header = T,sep = ";") #  читаем файл

target <- dt$Target_100 #  целевую в отдельную переменную

dt <- dt[, ! colnames(dt)  %in% 
           #            c("Target_100_Buy","Target_100_Sell",
           #             "Time","Target_100")  ] #  удаляем не нужные колонки
                      c("Target_100")  ] #  удаляем не нужные колонки

km <- kmeans(um$layout, centers = 4)           

#  роскоментируем и Устанавливаем нужные пакеты после чего эту строку можно удалить
#install.packages(c("rgl", "car" , "umap"))



#  про umap
#https://cran.r-project.org/web/packages/umap/vignettes/umap.html
#https://github.com/ropenscilabs/umapr

library(umap)
um <- umap(dt,n_components=3)   
#  n_components=3  во сколько измерений уменьшаем данные, можно 100 можно 1
#  можно 333, но нам для 3 д надо трех мерное пространство поетому у нас n_comp=3
um.res <- um$layout #  наши три вектора выход 



#тут  все настройки по пакету  car
#  http://www.sthda.com/english/wiki/amazing-interactive-3d-scatter-plots-r-software-and-data-visualization
library(car)  # 3 d

target <- as.factor(target)  #   target нужен для того чтобы окрасить точки в цвет целевой

scatter3d(x = um.res[,1], 
          y = um.res[,2], 
          z = um.res[,3],
          groups = as.factor(km$cluster),
          grid = FALSE, 
          surface = FALSE,
          ellipsoid = TRUE,
            bg.col = "black")


write.csv(km$cluster, file = "F:\\FX\\R\\2020_04_11_Pred_New_Full\\Pred.csv", sep = ";",row.names = F,col.names = T)
 
Aleksey Vyazmikin:

1. Devi aver frainteso la domanda - si tratta di caricare le regole in un file, e ci sono delle regole, come confermato al punto 2.

2. questo è buono.

3. Probabile alta correlazione tra i predittori, anche dopo la conversione? È possibile ottenere una lista di predittori ritirati o non sono ritirati ma fusi in gruppi appena - non riesco a capirlo.

4. Forse ho capito male il codice o l'ho raggruppato male, lo posterò di nuovo

1. Ancora non lo capisco.

3. non ci possono essere caratteristiche correlate dopo la trasformazione. Sì, possiamo dire che sono fusi in altre strutture (attributi), ma senza ridondanza

4.

dt <- dt[, ! colnames(dt)  %in% 
           #            c("Target_100_Buy","Target_100_Sell",
           #             "Time","Target_100")  ] #  удаляем не нужные колонки
                      c("Target_100")  ] #  удаляем не нужные колонки

le tesi sono un'unica espressione, cioè non si possono commentare )))

1...192719281929193019311932193319341935193619371938193919401941...3399
Nuovo commento