Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 1237

 
Dmitry :

İki yıl önce burada Maksimka'ya Ulusal Meclis'in nükleer bomba gibi bir oyuncak olduğunu yazmıştım. HERHANGİ BİR başka model en azından tatmin edici sonuçlar verirse, NN kullanılması tavsiye edilmez - görünürde bile olmayan bir şey bulurlar ve bu konuda hiçbir şey yapılamaz.

Ağaçlar iyi bir şeydir ama ormanları kullanmak daha iyidir.

R üzerinden xgboost ile deneme yapmayı planlıyorum, ihtiyacım olan her şey orada. Evet ve çok hızlı görünüyor ve belleği en iyi şekilde kullanıyor.
Örneğin 100 tahminci içeren 100.000 örnek sindirecek mi?
 
elibrarius :
R üzerinden xgboost ile deneme yapmayı planlıyorum, ihtiyacım olan her şey orada. Evet ve çok hızlı görünüyor ve belleği en iyi şekilde kullanıyor.
Örneğin 100 tahmin edici içeren 100.000 örnek sindirecek mi?

) Bilmiyorum - muhtemelen bu zaten Fa için.

Basit modeller kullandım - ikili dosyalarla oynadım.

 
elibrarius :
R üzerinden xgboost ile deneme yapmayı planlıyorum, ihtiyacım olan her şey orada. Evet ve çok hızlı görünüyor ve belleği en iyi şekilde kullanıyor.
Örneğin 100 tahminci içeren 100.000 örnek sindirecek mi?

daha hızlı

matrisleri mql'de normal biçimde bir dosyaya kaydetmeyi öğrenme

MLP ile orman arasında kalite olarak bir fark yok..genel olarak normal modellerden en az biri ile en az biri arasında neredeyse hiç fark yok ama kendinizi güçlendirmeyi denemek ilginç gerçekten 40 olabilir kat daha iyi .. ama aslında biraz daha iyi olacak

yukarıdaki kitap hakkında - metne çok fazla kelime ve ünlem eklendiğini gördüğümde, yazarın kendisini kontrol ettiğini ve kapattığını hemen anlıyorum))

 
Maksim Dmitrievski :

daha hızlı

matrisleri mql'de normal biçimde bir dosyaya kaydetmeyi öğrenme

MLP ile orman arasında kalite olarak hiçbir fark yok..genel olarak normal modellerden en az biri ile en az biri arasında neredeyse hiç fark yok ama kendinizi güçlendirmeyi denemek ilginç gerçekten 40 olabilir kat daha iyi .. ama aslında biraz daha iyi olacak

yukarıdaki kitap hakkında - metne çok fazla kelime ve ünlem eklendiğini gördüğümde, yazarın kendisini kontrol ettiğini ve kapattığını hemen anlıyorum))

BackProp nedeniyle, NS çok gürültülü önemli verileri bulamıyor (ve neredeyse gürültülü olan tüm uzak çubuklara sahibiz, yukarıdan veya aşağıdan gelmeleri önemlidir).

Ormanların gürültüyle nasıl başa çıktığını henüz anlamadım (bunun birçok farklı ağacın oylaması olduğu gerçeğinin yanı sıra).


Tek bir ağacın kendisi gürültüyü bastırabilir mi? (Bir yıl önce okuduklarımdan, örneğin gürültüyle birlikte tamamen hatırlayabildiğini hatırlıyorum)

 
elibrarius :
BackProp nedeniyle, NS çok gürültülü önemli verileri bulamıyor (ve neredeyse gürültülü olan tüm uzak çubuklara sahibiz, yukarıdan veya aşağıdan gelmeleri önemlidir).

Ormanların gürültüyle nasıl başa çıktığını henüz anlamadım (bunun birçok farklı ağacın oylaması olduğu gerçeğinin yanı sıra).


Tek bir ağacın kendisi gürültüyü bastırabilir mi? (Bir yıl önce okuduklarımdan, örneğin gürültüyle birlikte tamamen hatırlayabildiğini hatırlıyorum)

aynı şekilde, torbalama üzerine sinir ağları toplulukları kurulur ve ormanla aynı hale gelir.

ormanın sadece özel bir torbalama durumu olduğunu anlamalısın, ağaçlar yerine, oraya her şeyi doldurabilirsin, herhangi bir zayıf model. Tek bir ağaç, hiçbir şeyi bastıramayan temel bir modeldir.

"tip" orman, rastgele örnekleme nedeniyle yeniden eğitilmez, ancak aslında çok kolay ve doğal bir şekilde yeniden eğitilir

her ikisi de Decay (gradyan adımı), erken durdurma veya ormanın r parametresi veya ön işleme yoluyla düzenlenmelidir, ancak tüm bu iyileştirmeler genellikle %5-10 arasındadır. Kötü verilerde, her iki model de eşit derecede kötü performans gösterecektir.

Güçlendirmeye gelince (kesinlikle aşırı, sadece GBM değil), kahretsin, gerçekten çok fazla yeniden eğitmiyor, bakmam gerekiyor, hiçbir şey söyleyemem

https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/

 
Sihirbaz_ :

Sevgili Masum. Bu kelimeden korkmayacağım - Öğretmen, verilen sevinç dakikaları için teşekkür ederim!
Hayat yeni renklerle parladı (mavi, kırmızı, gri, yeşil))))
Mümkünse, lütfen birkaç soruyu yanıtlayın. Neden bu kadar özenle Vorontsov Voronov'u arıyorsun?
ve neden, bize MO olmadan piyasanın durumunu anlatarak, bizi bir tür kendiliğinden olmayan hedefi zorluyorsunuz.
Ve en önemlisi - trend düz nerede?)))

Vorontsov'u ve senin zorbalığınla ilgili umutsuzluğumu yazdım ama gönderilerim silindi, Gramarnats gibi olma, hedefim bepontovy değil ama Kase'nin temeli, gri (düz) ve rengim (trend) farklı %90 doğruluk, netlik için mavi ve kırmızı, yönü kullanmıyorum, yeşil gösterge mutlak değeri alıyor.

 
Maksim Dmitrievski :

matrisleri mql'de normal biçimde bir dosyaya kaydetmeyi öğrenme

bir dizi yapı oluşturun ve gerekirse bu tür yapıların her birine bir matris yazın ve FileWriteArray () kullanarak bir seferde sıfırlayın

Документация по MQL5: Файловые операции / FileWriteArray
Документация по MQL5: Файловые операции / FileWriteArray
  • www.mql5.com
//|                                          Demo_FileWriteArray.mq5 | //|                        Copyright 2013, MetaQuotes Software Corp. | //|                                              https://www.mql5.com | //| Структура для хранения данных о ценах                            |...
 
elibrarius :
Büyük olanlar yok, küçük sayılarla 10: 8: 2'ye karşı 6: 4'ü açıkladı. Ama elimizde çok fazla veri var.


VR'yi temsil eden kaç örnek sayılabilir? Genelde 10000'den az kullanmam, içinde en az 1000 küçük bir sınıf olmalı

Ağaçlar için, hatanın ağaç sayısına bağımlılığının harika bir grafiği var.

Yani bekçiler için 100'ün üzerindeki ağaç sayısı hatayı azaltmaz.

Grafik şöyle görünüyor:



Farklı dosya boyutları alıp sorunuza cevap alabilirsiniz.

Ama hepsi bu değil.

rf için bir "Örnek Boyutu" parametresi daha vardır. Sınıftaki farkı dengeleyebilirler. Her durumda, bu parametre hatanın boyutunu büyük ölçüde etkiler.

Örneğin.

7500 satırlık bir dosya boyutuyla Örnek Boyutu = 1000, 500 için, sınıf dengeli görünüm iç karartıcı. Ancak bu ilk bakışta ve ille de iç karartıcı değil. "0" sınıfının uzun ve "1" sınıfının "piyasa dışı" olduğunu varsayalım. "Piyasa dışı" hatası 0,5'in üzerindedir - bu, saçmalıklardan bir satın alma yapıldığı anlamına gelir. Ve yer değiştirirseniz, buldozerden "piyasadan çıkmış" olduğu ortaya çıkıyor, ancak "uzun" hata çok küçük.



Ve Sample Size = 1000, 1000 olan aynı dosya çok iyi görünüyor.

 
Igor Makanu :

bir dizi yapı oluşturun ve gerekirse bu tür yapıların her birine bir matris yazın ve FileWriteArray () kullanarak bir seferde sıfırlayın

Sütun sayısını önceden bilmiyorum .. ve içinde dinamik diziler olan yapı dizileri dosyalara yazılmıyor mu? ) genel olarak, bir çeşit dikiş ..

sütun sayısı önceden bilinmeyen 2 boyutlu bir dizi kaydetmeniz yeterlidir.

 
Maksim Dmitrievski :

aynı şekilde, torbalama üzerine sinir ağları toplulukları kurulur ve ormanla aynı hale gelir.

ormanın sadece özel bir torbalama durumu olduğunu anlamalısın, ağaçlar yerine, oraya her şeyi doldurabilirsin, herhangi bir zayıf model. Tek bir ağaç, hiçbir şeyi bastıramayan temel bir modeldir.

"tip" orman, rastgele örnekleme nedeniyle yeniden eğitilmez, ancak aslında çok kolay ve doğal bir şekilde yeniden eğitilir

her ikisi de Decay (gradyan adımı), erken durdurma veya ormanın r parametresi veya ön işleme yoluyla düzenlenmelidir, ancak tüm bu iyileştirmeler genellikle %5-10 arasındadır. Kötü verilerde, her iki model de eşit derecede kötü performans gösterecektir.

Güçlendirmeye gelince (kesinlikle aşırı, sadece GBM değil), kahretsin, gerçekten çok fazla yeniden eğitmiyor, bakmam gerekiyor, hiçbir şey söyleyemem

https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/

Her şey aşağı yukarı aynı: rf, xgboost , SVM, GLM, nnet.

Bazı alanlarda, bir model diğerinden daha iyidir, diğerlerinde daha kötüdür - tüm yüzde birimleri.

Görünüşe göre modelin hatası gerçekte "öngörücüler-hedef değişken" çiftinin hatasıdır. Herhangi bir numara ile atlayamayacağınız belirli bir sınır var, ancak onu mahvetmek kolaydır, gelecek vaat eden bir çifti geçebilirsiniz