L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 640

[Alexander_K2]

Mihail Marchukajtes:

Sérieusement, ne fais pas d'histoires, Mikhail. Le moment est crucial. Si cette idée, quelle qu'en soit la raison (qu'il s'agisse d'un manque de compétences ou d'une stupidité totale face aux nouvelles opportunités), ne fonctionne pas, alors la suivante s'abattra sur la communauté des traders très, très vite. J'en suis sûr.

[Vizard_]

Mihail Marchukajtes:

Voici les sept de moi !!!! Et marquez ce jour sur votre calendrier avec un crayon rouge, car c'est le jour où j'ai téléchargé R et où je vais le faire tourner petit à petit...

Sur Sensei, un cadeau des garçons)))) h2o.automl.

Le cliquetis est moyen, mais tout est sur automl...

[Yuriy Asaulenko]

Vizard_:

Le vieux Fa se tenait dans un verger. Un oranger s'étendait devant lui. Les oiseaux volaient partout, de façon chaotique.

Les oiseaux ne se posaient pas sur l'oranger et il pensait que le fruit était toxique. Il faisait un pas sur le côté et voyait

le pommier derrière l'oranger, où sur le fruit et un couple ou même plus des oiseaux volant autour chaotiquement

s'assiéraient sûrement... Mais il restait juste debout à un endroit... Affamé, épuisé, déprimé...

À la fin de la sixième année, il semblait à Hu Jou qu'il avait pénétré l'essence même de l'art de la chasse. Car ce n'était pas la proie, mais le concept lui-même, qui était devenu central pour lui... (с)

[Maxim Dmitrievsky]

http://playground.tensorflow.org

visualisation de l'apprentissage des NS, semble être juste pour le plaisir ou comme exemple d'enseignement

quelque chose qu'elle a clairement du mal à classer la spirale :)

[Maxim Dmitrievsky]

Et une telle architecture peut déjà

c'est comme Poincaré - si l'espace des caractéristiques est incohérent, il faut au moins 2 couches, il y a déjà eu une question à ce sujet de la part d'elibrarius.

[Aleksey Terentev]

Maxim Dmitrievsky:

Et cette architecture peut déjà

Maxim, qu'en est-il de la sélection des caractéristiques ? Aye-aye.
De même, ralentissez la vitesse d'apprentissage lorsque le réseau commence à vibrer.

J'ai joué avec ce truc l'été dernier. C'est très visuel).

[Maxim Dmitrievsky]

Aleksey Terentev:
Maxim, qu'en est-il de la sélection des caractéristiques ? Aye-aye.
De même, ralentissez la vitesse d'apprentissage lorsque le réseau commence à vibrer.

L'été dernier, j'ai joué avec ce truc. Une chose très illustrative).

Oui, si vous mettez les sinus, ça peut être avec 1 couche.

[Dr. Trader]

EMVC ne fait pas ce que je voulais, il ne fait pas ce qu'il semble faire à la lecture superficielle de la description.

EMVC prend une table avec des prédicteurs et des cibles (classes uniquement. La régression n'est pas autorisée), et calcule la probabilité que chaque exemple d'apprentissage appartienne réellement à une classe donnée. Il est possible de trouver les lignes du tableau de formation qui contredisent la majorité des exemples de formation (valeurs aberrantes, erreurs) et de les supprimer pour éviter de perturber le modèle en formation.

J'étais censé trouver un ensemble de prédicteurs qui donnerait les estimations de probabilité les plus élevées, mais les ensembles de prédicteurs trouvés n'étaient pas satisfaisants. Je n'expérimenterai pas cette méthode, il existe de meilleurs outils pour sélectionner les prédicteurs. Je ne peux pas voir l'estimation de l'entropie croisée, le paquet l'utilise en quelque sorte en interne mais ne renvoie pas cette réponse à l'utilisateur.

Mais il existe un outil intéressant pour trier les exemples de formation plutôt que les prédicteurs.

library(EMVC)
data(iris)


trainTable <- iris #таблица  на которой в дальнейшем будет обучаться какая-то модель
PREDICTOR_COLUMNS_SEQ <- 1:4 #номера  колонок с предикторами
TARGET_COLUMN_ID <- 5 #номер  колонки с таргетом

EMVC_MIN_TRUST <- 0.9 #минимально  допустимая вероятность принадлежности к классу посчитанная через emcv. От 0 до 1.

emvcData <- t(as.matrix(trainTable[,PREDICTOR_COLUMNS_SEQ]))
emvcAnnotations <- as.numeric(trainTable[,TARGET_COLUMN_ID])
emvcAnnotationsUnique <- unique(emvcAnnotations)
emvcAnnotationsMatrix <- matrix(0, ncol=ncol(emvcData), nrow = length(emvcAnnotationsUnique))
for(i in 1:length(emvcAnnotationsUnique)){
  emvcAnnotationsMatrix[i, emvcAnnotations == emvcAnnotationsUnique[i]] <- 1
}

set.seed(0)
emvcResult <- EMVC(data = emvcData,
                   annotations = emvcAnnotationsMatrix,
                   #  bootstrap.iter = 20,
                   k.range = 2
                   #  clust.method = "kmeans",
                   #  kmeans.nstart = 1,
                   #  kmeans.iter.max = 10,
                   #  hclust.method = "average",
                   #  hclust.cor.method = "spearman"
)

badSamples <- c()
for(i in 1:ncol(emvcResult)){
  if(max(emvcResult[,i])<EMVC_MIN_TRUST){
    badSamples <- c(badSamples, i)
  }
}
cat("Indexes of bad train samples:", badSamples,"\n") #Это  номера строк в обучающей табличке которые повышают кросс-энтропию данных. Они противоречат большинству других обучающих примеров, и возможно следует их удалить из обучающей таблички
trainTable <- trainTable[-badSamples,]

[СанСаныч Фоменко]

Dr. Trader:

EMVC ne fait pas ce que je voulais, il ne fait pas ce qu'il semble faire à la lecture superficielle de la description.

EMVC prend une table avec des prédicteurs et des cibles (classes uniquement. La régression n'est pas autorisée), et calcule la probabilité que chaque exemple d'apprentissage appartienne réellement à une classe donnée. Il est possible de trouver les lignes du tableau de formation qui contredisent la majorité des exemples de formation (valeurs aberrantes, erreurs) et de les supprimer pour éviter de perturber le modèle en formation.

J'étais censé trouver un ensemble de prédicteurs qui donnerait les estimations de probabilité les plus élevées, mais les ensembles de prédicteurs trouvés n'étaient pas satisfaisants. Je ne vais pas faire d'expérience dans ce domaine, il existe de meilleurs outils pour sélectionner les prédicteurs. Je ne peux pas voir l'estimation de l'entropie croisée, le paquet l'utilise en quelque sorte en interne mais ne renvoie pas cette réponse à l'utilisateur.

Mais au moins, nous avons obtenu un outil intéressant pour éliminer les exemples de formation plutôt que les prédicteurs.

C'est dommage.

Une fois de plus, vous avez prouvé l'idée que les miracles n'existent pas, qu'il faut tout reprendre à zéro.

[Forester]

Dr. Trader:
Vous pouvez ainsi trouver des lignes dans le tableau d'entraînement qui contredisent la plupart des autres exemples d'entraînement (pics, erreurs), et les supprimer pour éviter de perturber le modèle pendant l'entraînement.

Cela a-t-il vraiment de l'importance sur des données Forex où les régularités sont difficiles à trouver ? Je pense que nous pouvons passer au crible la moitié des exemples avec ce programme. Et les valeurs aberrantes peuvent être recherchées avec des méthodes plus simples : ne pas les supprimer, mais, par exemple, les ramener à un maximum admissible.