Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 126
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Beni anlamıyor gibisin. Izgaraya nereye girileceğini söylemiyorum, zz veya başka bir gösterge ile değil. Eğitimli ağ, nereye girileceğini kendisi seçer.
kahretsin...anlayamıyorum..
Ne ile ne bağdaşmalı? bunu nasıl yapıyorsun? Ben de anlamıyorum..
Bunu senden başka kimsenin yaptığını sanmıyorum.
Tekrar açıklamama izin verin ve sizi iç içe çapraz doğrulama hakkında okumaya teşvik edin.
Bu benim çalışmamdan bir örnek. Çok karmaşık bir sistemdeki bazı mühendislik parametrelerini tahmin eden bir regresyon modeli oluşturuyordum.
Modelin eğitim parametreleri üzerinde yinelenirim, çapraz doğrulama kıvrımlarında en iyi modeli seçer ve ardından onu doğrularım. Toplamda testte 100 model seçtim (grafikteki noktalar). Bunlar test setindeki en iyi modeller. Farklı tahmin ediciler kullanmaları bakımından farklılık gösterirler.
Testteki yetersiz eğitimli modelin doğrulamada da yetersiz eğitimli olduğunu görebilirsiniz. Test ve doğrulama konusunda tam eğitimli model. Testin yüksek olduğu, ancak doğrulamanın hiç de düşük olmadığı aşırı eğitimli bir durum.
Testte seçilen modellerin çalışmaları ile doğrulama çalışmaları arasında bir korelasyona sahibiz.
Tahmin edicilerin sayısını değiştirerek, model tam uyumdan tam oturmaya doğru büyür. Ve bu büyüme, en iyi modelin seçildiği veriler ve seçilen en iyi modelin doğrulandığı veriler için tipiktir. Tutarlılık var!
Yani, yalnızca doğrulamada (örnek içinden) en iyi olan bir modeli seçmedim, aynı zamanda modellerin birden çok eğitimini, test için seçimlerini ve doğrulamada kalite ölçütünün karşılaştırmasını gerçekleştirdim. Bu iç içe çapraz doğrulamadır. Bu model yeniden eğitilmemiştir. En iyi çapraz doğrulama modelini alabilir ve en iyi örnek dışı ölçümlerden birini elde edebilirim.
Ve forex modelindeki varyasyonum, doğrulama sırasında modelin performansındaki varyasyonu açıklamıyorsa, o zaman en iyi modeli seçtiğimiz örneklere sahip olarak (bu durumda, çapraz doğrulama test kıvrımlarındaki ortalama kalite değeri), biz numuneden işin kalitesini tahmin edemez.
Bu nedenle, modelleri seçerek, ancak örnek dışı seçim prosedürünün kendisini test etmeden modele uyuyoruz.
Sabit, tutarlı verilerde elde ettiğim gibi bir resim - kararlı bağımlılıklar içeriyorlar. Örnek olarak, sensörün aşırı ısınması her durumda simüle edilen değeri düşürür ve bu fiziksel olarak açıklanır.
Finansal zaman serilerini modellerken, seçilen 2.000 model örneğini kullanarak, test örneklerindeki kalite ölçütlerinin doğrulama ile ilişkili olmadığını zaten göstermiştim.
İç içe çapraz doğrulama, farklı modellerin - veya farklı girdilere veya parametrelere sahip modellerin - benzersiz eğitim setlerinde tekrar tekrar eğitilmesini ve ardından test edilmesini içerir. Her benzersiz örnek için en iyi model seçilir. Daha sonra benzersiz bir doğrulama setinde tekrar test edilir. Bu işlem birçok kez tekrarlanır. Modelin kendisinin ve seçim prosedürünün örnek içinde ve örnek dışında tutarlı sonuçlar verdiğini göstermek için dış test katmanına ihtiyaç vardır.
Bunu San Sanych'e işaret ettim, Dr. ve diğer katılımcılar. Dr. beni anladınmı. SanSanych anlamadı.
Dolayısıyla Forex veya başka bir finans piyasası için böyle bir tablo yakalarsak, test segmenti açısından en iyi modeli üretime sokabiliriz.
Tekrar açıklamama izin verin ve sizi iç içe çapraz doğrulama hakkında okumaya teşvik edin.
Bu benim çalışmamdan bir örnek. Çok karmaşık bir sistemdeki bazı mühendislik parametrelerini tahmin eden bir regresyon modeli oluşturuyordum.
Modelin eğitim parametreleri üzerinde yinelenirim, çapraz doğrulama kıvrımlarında en iyi modeli seçer ve ardından onu doğrularım. Toplamda testte 100 model seçtim (grafikteki noktalar). Bunlar test setindeki en iyi modeller. Farklı tahmin ediciler kullanmaları bakımından farklılık gösterirler.
Testteki yetersiz eğitimli modelin doğrulamada da yetersiz eğitimli olduğunu görebilirsiniz. Test ve doğrulama konusunda tam eğitimli model. Testin yüksek olduğu, ancak doğrulamanın hiç de düşük olmadığı aşırı eğitimli bir durum.
Testte seçilen modellerin çalışmaları ile doğrulama çalışmaları arasında bir korelasyona sahibiz.
Tahmin edicilerin sayısını değiştirerek, model tam uyumdan tam oturmaya doğru büyür. Ve bu büyüme, en iyi modelin seçildiği veriler ve seçilen en iyi modelin doğrulandığı veriler için tipiktir. Tutarlılık var!
Yani, yalnızca doğrulamada (örnek içinden) en iyi olan bir modeli seçmedim, aynı zamanda modellerin birden çok eğitimini, test için seçimlerini ve doğrulamada kalite ölçütünün karşılaştırmasını gerçekleştirdim. Bu iç içe çapraz doğrulamadır. Bu model yeniden eğitilmemiştir. En iyi çapraz doğrulama modelini alıp en iyi örnek dışı ölçümlerden birini elde edebilirim.
Ve forex modelindeki varyasyonum, doğrulama sırasında modelin performansındaki varyasyonu açıklamıyorsa, en iyi modeli seçtiğimiz örneklere sahip olduğumuz anlamına gelir (bu durumda, çapraz doğrulama testindeki kalitenin ortalama değeri kıvrımlar), numuneden işin kalitesini tahmin edemeyiz.
Bu nedenle, modelleri seçerek, ancak örnek dışı seçim prosedürünün kendisini test etmeden modele uyuyoruz.
Sabit, tutarlı verilerde elde ettiğim gibi bir resim - kararlı bağımlılıklar içeriyorlar. Örnek olarak, sensörün aşırı ısınması her durumda simüle edilen değeri düşürür ve bu fiziksel olarak açıklanır.
Finansal zaman serilerini modellerken, seçilen 2.000 model örneğini kullanarak, test örneklerindeki kalite ölçütlerinin doğrulama ile ilişkili olmadığını zaten göstermiştim.
İç içe çapraz doğrulama, farklı modellerin - veya farklı girdilere veya parametrelere sahip modellerin - benzersiz eğitim setlerinde tekrar tekrar eğitilmesini ve ardından test edilmesini içerir. Her benzersiz örnek için en iyi model seçilir. Daha sonra benzersiz bir doğrulama setinde tekrar test edilir. Bu işlem birçok kez tekrarlanır. Modelin kendisinin ve seçim prosedürünün örnek içinde ve örnek dışında tutarlı sonuçlar verdiğini göstermek için dış test katmanına ihtiyaç vardır.
Bunu San Sanych'e işaret ettim, Dr. ve diğer katılımcılar. Dr. beni anladınmı. SanSanych anlamadı.
Dolayısıyla Forex veya başka bir finans piyasası için böyle bir tablo yakalarsak, test segmenti açısından en iyi modeli üretime sokabiliriz.
Hala anlamıyorum, üzgünüm.
Doğrulama için kıvrımlar: Test edilecek kıvrımlarla aynı dosyada mı yoksa doğrulama genellikle yeni bir dosyada mı?
not.
Çapraz doğrulama ile şu algoritmayı kastediyorum: dosya örneğin 10 kata bölünmüştür. İlk 9'da ve 10 doğrulamada öğretirler. Daha sonra 2-10'da öğretiyorlar ve 1'de doğrulama yapıyorlar. Ve böylece doğrulama kıvrımı hareket eder. Böyle?
Hala anlamıyorum, üzgünüm.
Doğrulama için kıvrımlar: Test edilecek kıvrımlarla aynı dosyada mı yoksa doğrulama genellikle yeni bir dosyada mı?
not.
Çapraz doğrulama ile şu algoritmayı kastediyorum: dosya örneğin 10 kata bölünmüştür. İlk 9'da ve 10 doğrulamada öğretirler. Daha sonra 2-10'da öğretiyorlar ve 1'de doğrulama yapıyorlar. Ve böylece doğrulama kıvrımı hareket eder. Böyle?
Evet.
10 kat üzerinde M1 çapraz doğrulamalı bir eğitim döngüsü, doğru anlıyorsunuz. Öğrenme parametrelerinin her bir kombinasyonu için: 9 kat öğreniyoruz, ertelenmiş olarak kontrol ediyoruz. Yani 10 kez. 10 bekleyen kıvrım için kalite metriğinin ortalama değerini alıyoruz. Bu değere m1 diyelim.
Bu prosedürü N kez tekrarlayalım (her zaman yeni verileri eğitim ve teste kaydırarak).
İç içe çapraz doğrulama:
M - N kez tekrarlıyoruz. Her M döngüsü benzersiz bir eğitim örneğidir. Eğitim ve en iyi modellerin seçimi sırasında elde edilen m1, m2, .. mn kalite metriklerini hepsi farklı veriler üzerinde alıyoruz.
dış katman. Seçilen her M modelini benzersiz bir doğrulama setinde kontrol ederiz. k1, k2, ... kn örnek dışı testler alıyoruz.
M'ye karşı bir dağılım grafiği oluşturuyoruz. K. Çapraz doğrulamada modelin kalitesindeki bir değişikliğin numunenin kalitesini nasıl belirlediğine dair bir tahmin elde ederiz.
Tahmin edicilerin seçimi hakkında . Bu kadar büyük miktarda veriye erişiminiz yoksa, modelin her N döngüsüne benzersiz bir tahmin kümesi verin. Test ve doğrulamada seçilen tahmin edicilere bağlı olarak modelin tutarlılığının olup olmadığını test edeceksiniz. Kabaca söylemek gerekirse, testte yetersiz eğitim almış bir model, doğrulama konusunda daha kötü sonuçlar vermelidir. Testte fazla eğitilmiş bir model, doğrulamada çok daha kötü bir sonuç verecektir.
15 yılın yarısını bu illüzyona harcadım. Model doğrulaması yalnızca eğitim, test ve doğrulama prosedürüyle HİÇBİR ilgisi olmayan veriler üzerinde gerçekleştirilmelidir. Karşılık gelen hesaplamaların sonuçlarını aramak için çok tembelim. Ama yazdığınız gibi yapan çıngırak yüzünden yarım yıl kaybettim.
Model doğrulaması yalnızca eğitim, test ve doğrulama prosedürüyle HİÇBİR ilgisi olmayan veriler üzerinde yapılmalıdır.
Brrr.
Yani öyle olmalı! Kontrol, gecikmeli bir örnek üzerinde yapılır (daha doğrusu, iç içe bir yaklaşımdan bahsediyorsak, örnekler).
Ne yanılsaması? Bu yaklaşım, herhangi bir şekilde tek seferlik bir model uyumundan daha objektiftir.
Brrr.
Yani öyle olmalı! Kontrol, gecikmeli bir örnek üzerinde yapılır (daha doğrusu, iç içe bir yaklaşımdan bahsediyorsak, örnekler).
Ne yanılsaması? Bu yaklaşım, herhangi bir şekilde tek seferlik bir model uyumundan daha objektiftir.
Sen daha iyi bilirsin.
Herşey çalışıyor. Gürültü kestiricilerini kaldırırsam, Haziran verisi üzerinde eğitilen model Temmuz verisi üzerinde çalışacak ve modeli Temmuz verisi üzerinde eğittiğimde, bu eğitimin Temmuz verisi üzerindeki hatası, tahmin ile aynı olacaktır. Haziran ayında eğitilen modelde Temmuz ayında kullanıldı. İşte buna yeniden eğitim eksikliği diyorum.
Sen daha iyi bilirsin.
Herşey çalışıyor. Gürültü kestiricilerini kaldırırsam, Haziran verisi üzerinde eğitilen model Temmuz verisi üzerinde çalışacak ve modeli Temmuz verisi üzerinde eğittiğimde, bu eğitimin Temmuz verisi üzerindeki hatası, tahmin ile aynı olacaktır. Haziran ayında eğitilen modelde Temmuz ayında kullanıldı. İşte buna yeniden eğitim eksikliği diyorum.
Diyelim ki sizin için her zaman işe yarıyor ve sadece 2 ay için değil, durum böyle olabilir.
Zigzag kabilesine mensup olarak ne öğretiyorsunuz? Bu belirli hedefin sürekli olarak iyi çalıştığını göz ardı etmiyorum, ancak bir kabileye ait olmak doğru girdiler sağlamaz. Sorun bu. Önümüzdeki gün için volatiliteyi oldukça doğru bir şekilde tahmin edebilirim, ancak bu bana ticarette hiçbir şey kazandırmayacak.
Diyelim ki sizin için her zaman işe yarıyor ve sadece 2 ay için değil, durum böyle olabilir.
Zigzag kabilesine mensup ne öğretiyorsunuz? Bu belirli hedefin sürekli olarak iyi çalıştığını göz ardı etmiyorum, ancak bir kabileye ait olmak doğru girdiler sağlamaz. Sorun bu. Önümüzdeki gün için volatiliteyi oldukça doğru bir şekilde tahmin edebilirim, ancak bu bana ticarette hiçbir şey kazandırmayacak.
Hedefin eksikliklerinin, modellerin aşırı uyumunu belirleme metodolojisi ile ilgisi yoktur.
Bence yanlışın var. Gürültülü etiketler (hedefleme), testinizde gördüklerinizle gelecekte göreceğiniz şeyler arasındaki uyumsuzluğu tarihlendirir. Bu tür durumlar için, iç içe doğrulama gibi her türlü zil ve ıslık tanıtılır. Testteki birkaç alternatif modelden daha kötü olanı seçmeniz gerektiğini kanıtlayan yaklaşımlar bile var.
Gürültü tahmin edicilerini kaldırırsak sonuç her yerde aynıdır.
Nasıl tanımladınız? Tahmincilerinizi o zamanlar bilinmeyen geleceğe kadar izlediniz mi?