Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2750

[СанСаныч Фоменко]

mytarmailS #:
Hatırlıyorum, ama bu bir uydurma hatası, yani iz örnekleme...

Bir sonraki mumun, testin hatası nedir?

Sonraki 300 çubuktaki hatadır. Her çubukta tahminciler oluşturuldu, ardından filtrelendi, model eğitildi ve bir sonraki çubuk tahmin edildi.

[СанСаныч Фоменко]

Maxim Dmitrievsky #:
Bu biraz mantıklı, çünkü genellikle modeller uzun ömürlü olmuyor. Ancak, sürekli yeniden eğitim olmadan, en azından bir yıl + aralığında, modelin yavaş bozulmasıyla, izlenmesi kolay seçenekler bulmak istiyorum
.

Buna katılmam mümkün değil.

Piyasa değişiyor ve değişimin zaman aralıkları farklı ve birbirinden bağımsız.

Eskiden 3 ila 6 ay arasında yaşayan EA'lar yazabiliyordum. Onları hafta sonları optimize ettim. Sonra öldüler ve kısa bir süre için depozitoyu boşaltmaya yettiler. Ancak optimizasyon için yeterli zaman yoktu. Sonunda durum daha da kötüydü: Bir süre sonra, parametreleri seçmenin imkansız olduğu bir sınır olduğu ortaya çıktı.

Piyasanın değiştiği daha uzun dönemler var: 5-7 yıl. Ancak sonuç aylık dönemlerle aynıdır. Bot sonsuza dek ölür. Özel bir mesajla piyasadan belirli bir bot göndereceğim - burada yapamazsınız.

Yani tüm bu "örnek dışı" fikri saçmalık. Bir botun hala bir ömrü var, ne kadar süreceğini bilmiyoruz: 3 ay ya da 7 yıl. Bot öldüğünde, onu başka bir düşüşle karıştırırız ve depozitomuzu kaybederiz.

İdeal olarak, bir sonraki mumda yeniden eğitilmelidir. Keneler üzerinde çalışırsak, o zaman bir sonraki kene üzerinde, H1'de ve ardından bir sonraki saatin gelişinde.

[СанСаныч Фоменко]

Valeriy Yastremskiy #:

Her barda antrenman yapılmasına karşı çıkmıyorum ve hatta örneğin sabit olmayan bir kene üzerinde bile. Eğitim yapısını tam olarak anlamıyorum. EA mantığı ayrı bir eğitim mi yoksa her çubuktaki eğitimin bir parçası mı? İlk eğitimin kuyrukları gibi, kaç kuyruk veya eğitim aşaması?

Her çubukta her şey yeni

[JeeyCi]

Maxim Dmitrievsky #:

Nedensel çıkarım için daha ahşap modeller var, henüz çözecek zamanım olmadı

uygulamadan, birçok yorum:

- çevre deneği etkiler (laboratuvar koşullarında her şey birbiriyle ilişkiliyken, doğal koşullarda hesaba katılmayan başka bağımlılıklar ortaya çıkar - en önemsiz olanı insan faktörü veya kalabalık etkisidir) - RL ML'den daha iyidir, ancak modelleme de gereklidir ve her şey hesaba katılamaz....
- 2 korelasyonlu değer hakkında yalnızca neyin neye bağlı olduğu hakkında çıkarım yapılabilir, tersi değil (sonuç faktöre veya faktör sonuca)
- aracılık, moderasyon, etkileşim, sürece müdahale eden bağımlılıklar (genellikle deneysel olarak bile izlenemez)
- genel olarak, sonuçları ML veya daha basit bir şekilde işlenebilen bir deney planlamak için bir deney planlamak önemlidir (bağımlılıkların grafiklerini, tam olarak mantıksal, teorik olanları çizebilmek yararlıdır) ....
yani araştırılan faktör veya araştırılan 2 faktörün ortak etkisi üzerinde koşullu bir dağılım elde etmek için hangi sırayla ve hangi faktörlerin düzeltileceği, elde edilen sonuçları koşulsuz dağılımla karşılaştırmak - "daha iyi - daha iyi değil", "etki - etki değil" hipotezini ortaya koymak, istatistiksel olarak doğrulamak veya çürütmek, saha koşullarında testlere aktarmak.... ve yeni bir nedensel çıkarım elde edersiniz).

ve ML RF'de - korelasyon matrislerini işleyerek bunu nasıl yaptıklarını bilmiyorum - (özellikle 2. nokta sorgulanabilir).

Birçok kişi olasılıksal modelleri tam da 2. madde yüzünden eleştiriyor ve diğer faktörlerin etkisini hesaba kattıklarını iddia ederek nedensel çıkarımı yüceltmeye başlıyor.... ancak algoritmik olarak sorunun (! muhakeme ile eş anlamlı başka bir kelime) VM aygıtı tarafından nasıl çözüldüğü bilinmemektedir (en azından benim için) - "hiçbir şey" diyebilirim.

Benim için nedensel çıkarım esasen akıl yürütmedir ve aracılık, ılımlılık, etkileşim çalışması ayrı bir büyük konu ve bir zevk meselesidir (yani mantıksal olarak inşa edilmiş şu veya bu grafiği çizmek) - aynı zamanda bir tür Tasarım (deney).

Piyasada sadece 1 BP olması - bağımlılıklar hakkında bir hipotezi test edemezsiniz... ve makul bir deney ayarıyla bir OLS veya ANOVA yeterli olacaktır (ancak kesin olarak çipleri ayırmak zorunda kalmayacaksınız).

?? ... bu yüzden mantık ve teorik bilgi dışında bir özelliği bir faktöre veya bir sonuca (ahşap modellerle veya her neyse) atfetmenin algoritmasını bilmiyorum .... ama bugünlerde başka kelimeler altında reklamı yapılan her türlü şey var -- nedensel çıkarımla hangi bağlamda karşılaştığınızı bilmiyorum

[Maxim Dmitrievsky]

JeeyCi #:

Uygulamadan birçok yorum:
- çevre test edilen kişiyi etkiler (laboratuvar koşullarında her şey korelasyon gösterdiğinde, doğal koşullarda başka hesaplanmamış bağımlılıklar ortaya çıkar - en sıradan olanı - insan faktörü veya kalabalık etkisi) - RL ML'den daha iyidir, ancak modellemek de gereklidir ve her şey hesaba katılamaz....
- 2 korelasyonlu değer hakkında yalnızca neyin neye bağlı olduğu hakkında bir çıkarım yapılabilir, ancak tersi yapılamaz (faktör üzerinde sonuç veya sonuç üzerinde faktör)
- arabuluculuk, moderasyon, etkileşim, sürece müdahale eden bağımlılıklar (genellikle deneysel olarak bile izlenemez)
- genel olarak, sonuçları ML tarafından işlenebilecek bir deney planlamak için bir deney planlamak önemlidir (bağımlılıkların grafiklerini, tam olarak mantıksal, teorik olanları çizebilmek yararlıdır)....
yani, araştırılan faktör için koşullu bir dağılım veya araştırılan 2 faktörün ortak etkisini elde etmek için hangi sırayla ve hangi faktörlerin düzeltileceği, elde edilen sonuçları koşulsuz dağılımla karşılaştırmak - "daha iyi - daha iyi değil" hipotezini ortaya koymak, istatistiksel olarak doğrulamak veya çürütmek, saha koşullarında testlere aktarmak ... ve yeni bir nedensel çıkarımda bulunmak)

ve ML RF'de - korelasyon matrislerini işleyerek bunu nasıl yaptıklarını bilmiyorum - (özellikle 2. nokta sorgulanabilir).

birçok kişi olasılıksal modelleri tam da 2. madde nedeniyle eleştiriyor ve diğer faktörlerin etkisini hesaba kattıklarını iddia ederek nedensel çıkarımı yüceltmeye başlıyor.... ancak algoritmik olarak sorunun (! muhakeme ile eş anlamlı başka bir kelime) VM aygıtı tarafından nasıl çözüldüğü bilinmemektedir (en azından benim için) - "hiçbir şey" diyebilirim.

Benim için nedensel çıkarım esasen akıl yürütmedir ve aracılık, moderasyon, etkileşim çalışması ayrı bir büyük konudur ve bir zevk meselesidir (yani mantıksal olarak oluşturulmuş bir grafik çizmek) - aynı zamanda bir tür Tasarım (deney).

piyasada sadece 1 BP'ye sahip olmak - bağımlılıklar hakkında bir hipotezi gerçekten test edemezsiniz... ve makul bir deneyle bir OLS veya LDA yeterli olacaktır (ancak kesinlikle özellik tahsis etmeniz gerekmeyecektir).

?? ... bu yüzden mantık ve teorik bilgi dışında..... bir özelliği bir faktöre veya bir sonuca (ahşap modellerle veya her neyse) atfetme algoritmasını bilmiyorum. ama bugünlerde başka kelimeler altında reklamı yapılan her türlü şey var -- nedensel çıkarımla hangi bağlamda karşılaştığınızı bilmiyorum

Süreçlerini iyileştirdiklerini söyleyen bazı Uber lib'leri gördüm.

ve genel yorum korelasyon = nedensellik ve bunu A / B ile başlayarak farklı şekillerde çözmeye çalışmak, ama bunu bilmiyorum.

Garip tanımları var, şişe olmadan anlayamazsınız, kafanızı gereksiz kelimelerle doldurmanız gerekir.

[mytarmailS]

mytarmailS #:

Bu arada, diğer modellerin nasıl çalışacağını, mach() işlevini hata vermeden oluşturup oluşturamayacaklarını merak ediyorum

Herhangi bir GP ayarı olmadan farklı modelleri kısaca eğitti

1 0.002392       форест
3 0.005348 екстр. буст.
4 0.024160     нейронка
2 0.037200         МГУА

Sonuç: Modeller fonksiyonu oluşturamaz, sadece bir miktar doğrulukla yaklaştırabilir, bu nedenle özelliklerin oluşturulması ve özelliklerin seçilmesi hala önemlidir.

set.seed(125)
dat <- round(rnorm(100000),2)
X <- matrix(dat,ncol = 5)
Y <- apply(X,1,max)
colnames(X) <- paste0("x",1:5)

tr <- 1:19950
ts <- 19951:20000

#///////////////

library(randomForest)
rf <- randomForest(Y[tr]~.,X[tr,],ntree=100)
pr <- predict(rf,X[ts,])

cb <- round(  cbind(pred=pr,actual=Y[ts])  ,2)
matplot(cb,t="l",col=c(1,2),lty=1,lwd=c(3,1),main="RF regresion")
rf_MSE <- mean((cb[,1] - cb[,2])^2)  #  rf MSE 0.002392

#///////////////

library(GMDHreg)
gmdh <- gmdh.mia(X = X[1:10000,],
                 y = Y[1:10000],
                 x.test = X[10000:19951,] ,
                 y.test = Y[10000:19951], prune = 25,criteria = "test")
pr <- predict(gmdh,X[ts,])

cb <- round(  cbind(pred=pr,actual=Y[ts])  ,2)
matplot(cb,t="l",col=c(1,2),lty=1,lwd=c(3,1),main="gmdh regresion")
gmdh_MSE <- mean((cb[,1] - cb[,2])^2)  #  gmdh MSE 0.038692

#///////////////

library(xgboost)
xgb_train = xgb.DMatrix(data = X[1:10000,], label = Y[1:10000])
xgb_test =  xgb.DMatrix(data = X[10000:19951,], label = Y[10000:19951])

watchlist = list(train=xgb_train, test=xgb_test)
xgb = xgb.train(data = xgb_train, max.depth = 3, watchlist=watchlist, nrounds = 1750)

pr <- predict(xgb,X[ts,])
cb <- round(  cbind(pred=pr,actual=Y[ts])  ,2)
matplot(cb,t="l",col=c(1,2),lty=1,lwd=c(3,1),main="xgb regresion")
xgb_MSE <- mean((cb[,1] - cb[,2])^2)  #  xgb MSE 0.005348

#///////////////

library(automl)
nn <- automl_train(Xref = X[tr,], Yref = Y[tr],
                   autopar = list(numiterations = 10,
                                  psopartpopsize = 10),
                   hpar = list(numiterations = 10))

pr <- automl::automl_predict(nn,X[ts,])

cb <- round(  cbind(pred=pr,actual=Y[ts])  ,2)
matplot(cb,t="l",col=c(1,2),lty=1,lwd=c(3,1),main="nn regresion")
nn_MSE <- mean((cb[,1] - cb[,2])^2)  #  nn MSE 0.023828

#///////////////

 res <- c(rf_MSE , gmdh_MSE , xgb_MSE , nn_MSE)
nms <- c("форест","МГУА","екстр. буст.","нейронка")
m <- cbind.data.frame(res,nms)
m <- m[order(m$res),]
m
barplot(m$res,names.arg = m$nms)

[mytarmailS]

СанСаныч Фоменко #:

Bu, sonraki 300 çubuktaki hatadır. Her çubukta tahmin ediciler oluşturuldu, ardından filtrelendi, model eğitildi ve bir sonraki çubuk tahmin edildi.

Akşam benzer bir şey yapmaya çalışacağım, ancak bu tür yeniden eğitim botlarından oldukça fazla yaptım ve böyle bir skor vermeleri için buna inanamıyorum....

Daha ziyade test örneğinin ne olduğuna dair kavramlarda/anlamlarda bir karışıklık var ve bu nedenle aynı şeyi söyleyerek farklı şeylerden bahsediyoruz

[Vladimir Perervenko]

Aleksey Vyazmikin #:

Görev kuyruğu biraz boşaltıldı - betiği çalıştırmak mümkün hale geldi. Çalıştırıyorum ve bir hata alıyorum.

Programın eski R 4.0 sürümünü istediğini doğru anlıyor muyum?

Eski bir sürüm aradım ama bulamadım. Korkunç uyumsuzluk elbette itici.

Yanlış. Bir paket farklı bir sürüm için oluşturulmuşsa, bir uyarı olacaktır. Hangi uyumsuzluktan bahsediyoruz?

randomForest v.4.7-1.1 hiçbir yere gitmedi ve crane'de. R 4.1.3

[Vladimir Perervenko]

Renat Fatkhullin #:

Yapı 3440'tan itibaren yazılımın AVX sürümlerini dağıtmaya başladığımızı lütfen unutmayın: https://www.mql5.com/ru/forum/432624/page5#comment_42117241.

Bir sonraki adım, matematiksel aygıtı vektör ve OpenCL işlevlerine yeniden yazmaktır; bu da CUDA gibi ek kütüphaneler yüklemeye gerek kalmadan on kat hızlanma sağlar.

Bu gerçekten ileriye doğru atılmış büyük bir adım. Göstergeleri ve uzmanları yeniden yazmanız mı gerekiyor?

[Aleksey Nikolayev]

СанСаныч Фоменко #:

Buna katılmıyorum.

Piyasa değişiyor ve değişimin zaman aralıkları birbirinden farklı ve bağımsız.

Eskiden 3 ila 6 ay arasında yaşayan Uzman Danışmanlar yazabiliyordum. Onları hafta sonları optimize ettim. Sonra öldüler ve kısa bir süre için depozitoyu boşaltmaya yetecek kadar. Ancak optimizasyon için yeterli zaman yoktu. Sonunda, durum daha da kötüydü: bir süre sonra, parametreleri seçmenin imkansız olduğu bir sınır olduğu ortaya çıktı.

Daha uzun piyasa değişim dönemleri vardır: 5-7 yıl. Ancak sonuç aylık dönemlerle aynıdır. Bot sonsuza dek ölür. Piyasadan belirli bir botu özel bir mesajla göndereceğim - bunu burada yapamazsınız.

Yani tüm bu "örneklem dışı" fikri saçmalık. Bir botun hala bir ömrü var, ne kadar süreceğini bilmiyoruz: 3 ay ya da 7 yıl. Bot öldüğünde, bunu başka bir düşüşle karıştırır ve depomuzu boşaltırız.

İdeal olarak, bir sonraki mumda yeniden eğitilmelidir. Keneler üzerinde çalışırsak, o zaman bir sonraki kene üzerinde, H1'de ve ardından bir sonraki saatin gelişinde.

Algoritmanızı KNN (ya da onun bazı modifikasyonları) ile karşılaştırdınız mı? Kazancın ne kadar önemli olduğu ilginç olurdu.