L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 640

[Alexander_K2]

Mihail Marchukajtes:

In tutta serietà, per favore non fare storie, Mikhail. Il momento è cruciale. Se questa idea, non importa per quale motivo (sia per mancanza di abilità o per completa stupidità di fronte alle nuove opportunità) non funziona, allora la prossima scenderà sulla comunità di commercianti molto, molto presto. Ne sono sicuro.

[Vizard_]

Mihail Marchukajtes:

Ecco i sette di me!!!! E segnate questo giorno sul vostro calendario con una matita rossa, perché è il giorno in cui ho scaricato R e lo farò girare poco a poco...

Su Sensei, un omaggio dei ragazzi))) h2o.automl.

Il sonaglio è medio, ma tutto è su automl...

[Yuriy Asaulenko]

Vizard_:

Il vecchio Fa stava in un frutteto. Un albero di arance si estendeva davanti a lui. Gli uccelli volavano ovunque, caoticamente.

Gli uccelli non si posavano sull'albero di arance e lui pensava che il frutto fosse velenoso. Faceva un passo di lato e vedeva

l'albero di mele dietro l'albero di arance, dove sulla frutta e un paio o anche più degli uccelli che volano intorno caoticamente

sarebbe sicuramente seduto... Ma lui continuava a stare in un posto... Affamato, esausto, depresso...

Alla fine del sesto anno, sembrava che Hu Jou avesse penetrato l'essenza stessa dell'arte della caccia. Perché non era la preda, ma il concetto stesso, che era diventato centrale per lui... (с)

[Maxim Dmitrievsky]

http://playground.tensorflow.org

visualizzazione dell'apprendimento di NS, sembra essere solo per divertimento o come esempio di insegnamento

qualcosa che sta chiaramente avendo problemi a classificare la spirale :)

[Maxim Dmitrievsky]

E una tale architettura può già

è proprio come Poincaré - se lo spazio delle caratteristiche è incoerente hai bisogno di almeno 2 strati, c'era già una domanda su questo da elibrarius

[Aleksey Terentev]

Maxim Dmitrievsky:

E questa architettura può già

Maxim, e la selezione delle caratteristiche? Sì, sì.
Inoltre, renda la velocità di apprendimento più lenta quando la rete inizia a vibrare.

Ho giocato con questa cosa l'estate scorsa. Una cosa molto visiva).

[Maxim Dmitrievsky]

Aleksey Terentev:
Maxim, e la selezione delle caratteristiche? Sì, sì.
Inoltre, renda la velocità di apprendimento più lenta quando la rete inizia a vibrare.

L'estate scorsa ho giocato con questa cosa. Una cosa molto illustrativa).

Sì, se si mettono i seni, può essere con 1 strato.

[Dr. Trader]

EMVC non fa quello che volevo, non fa quello che sembra da una lettura superficiale della descrizione.

EMVC prende una tabella con predittori e obiettivi (solo classi. La regressione non è ammessa), e calcola la probabilità che ogni esempio di allenamento appartenga davvero a una data classe. È possibile trovare le righe della tabella di allenamento che contraddicono la maggior parte degli esempi di allenamento (outlier, errori) e rimuoverle per evitare di confondere il modello in allenamento.

Dovevo trovare un insieme di predittori che dessero le stime di probabilità più alte, ma gli insiemi di predittori trovati erano insoddisfacenti. Non farò esperimenti con questo, ci sono strumenti migliori per selezionare i predittori. Non posso vedere la stima dell'entropia incrociata, il pacchetto la usa in qualche modo internamente ma non restituisce la risposta all'utente.

Ma c'è uno strumento interessante per setacciare gli esempi di allenamento piuttosto che i predittori.

library(EMVC)
data(iris)


trainTable <- iris #таблица  на которой в дальнейшем будет обучаться какая-то модель
PREDICTOR_COLUMNS_SEQ <- 1:4 #номера  колонок с предикторами
TARGET_COLUMN_ID <- 5 #номер  колонки с таргетом

EMVC_MIN_TRUST <- 0.9 #минимально  допустимая вероятность принадлежности к классу посчитанная через emcv. От 0 до 1.

emvcData <- t(as.matrix(trainTable[,PREDICTOR_COLUMNS_SEQ]))
emvcAnnotations <- as.numeric(trainTable[,TARGET_COLUMN_ID])
emvcAnnotationsUnique <- unique(emvcAnnotations)
emvcAnnotationsMatrix <- matrix(0, ncol=ncol(emvcData), nrow = length(emvcAnnotationsUnique))
for(i in 1:length(emvcAnnotationsUnique)){
  emvcAnnotationsMatrix[i, emvcAnnotations == emvcAnnotationsUnique[i]] <- 1
}

set.seed(0)
emvcResult <- EMVC(data = emvcData,
                   annotations = emvcAnnotationsMatrix,
                   #  bootstrap.iter = 20,
                   k.range = 2
                   #  clust.method = "kmeans",
                   #  kmeans.nstart = 1,
                   #  kmeans.iter.max = 10,
                   #  hclust.method = "average",
                   #  hclust.cor.method = "spearman"
)

badSamples <- c()
for(i in 1:ncol(emvcResult)){
  if(max(emvcResult[,i])<EMVC_MIN_TRUST){
    badSamples <- c(badSamples, i)
  }
}
cat("Indexes of bad train samples:", badSamples,"\n") #Это  номера строк в обучающей табличке которые повышают кросс-энтропию данных. Они противоречат большинству других обучающих примеров, и возможно следует их удалить из обучающей таблички
trainTable <- trainTable[-badSamples,]

[СанСаныч Фоменко]

Ildottor Trader:

EMVC non fa quello che volevo, non fa quello che sembra da una lettura superficiale della descrizione.

EMVC prende una tabella con predittori e obiettivi (solo classi. La regressione non è ammessa), e calcola la probabilità che ogni esempio di allenamento appartenga davvero a una data classe. È possibile trovare le righe della tabella di allenamento che contraddicono la maggior parte degli esempi di allenamento (outlier, errori) e rimuoverle per evitare di confondere il modello in allenamento.

Dovevo trovare un insieme di predittori che dessero le stime di probabilità più alte, ma gli insiemi di predittori trovati erano insoddisfacenti. Non ho intenzione di sperimentare con questo, ci sono strumenti migliori per selezionare i predittori. Non posso vedere la stima dell'entropia incrociata, il pacchetto la usa in qualche modo internamente ma non restituisce la risposta all'utente.

Ma almeno abbiamo uno strumento interessante per vagliare gli esempi di allenamento piuttosto che i predittori.

È un peccato.

Ancora una volta hai dimostrato l'idea che i miracoli non accadono, bisogna raccogliere tutto da zero.

[Forester]

Ildottor Trader:
È quindi possibile trovare linee nella tabella di formazione che contraddicono la maggior parte degli altri esempi di formazione (picchi, errori), e rimuoverle per evitare di confondere il modello durante la formazione.

Ha davvero importanza sui dati Forex, dove le regolarità sono difficili da trovare? Penso che possiamo setacciare la metà degli esempi con questo programma. E gli outlier possono essere ricercati con metodi più semplici: non eliminarli, ma, per esempio, equipararli a un massimo ammissibile.