Bayesian regresyon - Bu algoritmayı kullanarak Uzman Danışman yapan var mı? - sayfa 26
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Evet, baktım ... hatırlamıyorum ..
Test cihazı hakkında konuşursak, bence böyle bir sorun var.
Belirli bir örnek alıyoruz ve bunu bir testçi olarak, örneğin bir kar faktörü olarak görüyoruz. Sonra başka bir örnek alırız ve kar faktörünün yeni bir değerini alırız. Toplam iki sayı. İstatistiksel sonuçların temeli iki rakam mı? Bu rakamlar hiçbir şey ifade etmiyor.
Farklı şekilde çözülmeli ve çözülmelidir.
Numune alınır. Bu örnekten rastgele belirli bir alt küme seçilir ve üzerinde bir kâr faktörü olarak kabul edilir. Sonra tekrar rastgele bir örnek alınır ve bu böyle devam eder, örneğin 1000 defa. 1000 kar faktörü elde ediyoruz. Bu küme zaten istatistiksel çıkarımlar için bir temel olarak hizmet edebilir.
Bu arada, bu yöntem bir test cihazının kullanımını dışlamaz, demo..
SS, iyi günler!
Neyin örneği? Fırsatlar?
Neye yol açtığınızı anlıyorum - önyükleme türüne göre örnek istatistiklerin niceliklerinin tahmini.
Ancak soru şu ki, eğer TS mevcut numunenin tamamına göre ayarlanırsa, bu yöntem zaten bildiğimiz şeyi, yani kâr faktörünün çok iyi olduğunu gösterecektir.
Blogumda konuya biraz farklı yaklaşacağım. k-kat çapraz doğrulama ile ilk eğitim; 5 alt küme almak istiyorum (benim durumumda bunlar 5 döviz çiftinin verileri olacak) ve ilginç bir deney ortaya çıkacak: modeli 4 çift üzerinde eğitmek, 5'inde test etmek. Ve böylece 5 kez. Ama hepsi bu kadar değil. Başlangıçta, forex'in tahmin edilebilir olduğunu göstermeye tamamen bilimsel bir ilgi duydum. Böylece, en iyi modeller (çapraz doğrulama segmentinde), makinenin henüz görmediği büyük bir örnek üzerinde doğrulanacaktır. Doğrulama örneğinin bir başka özelliği de, gelecekte zamana göre ayrılmış fiyatları birleştirmesidir. Örneğin, R^2 kriterine göre, 18 tahmin edilen çıktı değişkeni için (2 ila 724 dakika arası) en iyi 100 modelin doğrulama sonuçlarının olacağı 100 * 18'lik bir matris almayı bekliyorum. Bu, "kutularımın" ortalamadan daha iyi tahmin edip etmediğini hemen gösterecektir.
Ve kendi kazmam için bir sponsor olsaydı, Amazon Cloud'u kiralayabilir ve deneyi her seferinde farklı eğitim ve doğrulama setleri oluşturarak 1000 kez tekrarlayabilirdim. Ardından, en iyi modeller ve farklı hedefler için R^2 metriğinin standart hatasını tahmin etmemizi sağlayacak 1000 * 100 * 18'lik üç boyutlu bir matris olacaktır. Ama zaten kalın.
Demek istediğim, gelecekteki veriler (veya geçmiş, ancak zaman olarak açıkça ayrılmış) üzerinde test yapılması gerekiyor ve her şey iyi olacak.
SS, iyi günler!
Neyin örneği? Fırsatlar?
Neye yol açtığınızı anlıyorum - önyükleme türünü kullanarak örnek istatistiklerin niceliklerini tahmin etmek.
Ancak soru şu ki, eğer TS mevcut numunenin tamamına göre ayarlanırsa , bu yöntem zaten bildiğimiz şeyi, yani kâr faktörünün çok iyi olduğunu gösterecektir.
Blogumda konuya biraz farklı yaklaşacağım. k-kat çapraz doğrulama ile ilk eğitim; 5 alt küme almak istiyorum (benim durumumda bunlar 5 döviz çiftinin verileri olacak) ve ilginç bir deney ortaya çıkacak: modeli 4 çift üzerinde eğitmek, 5'inde test etmek. Ve böylece 5 kez. Ama hepsi bu kadar değil. Başlangıçta, forex'in tahmin edilebilir olduğunu göstermeye tamamen bilimsel bir ilgi duydum. Böylece, en iyi modeller (çapraz doğrulama segmentinde), makinenin henüz görmediği büyük bir örnek üzerinde doğrulanacaktır. Doğrulama örneğinin bir başka özelliği de, gelecekte zamana göre ayrılmış fiyatları birleştirmesidir. Örneğin, R^2 kriterine göre, 18 tahmin edilen çıktı değişkeni için (2 ila 724 dakika arası) en iyi 100 modelin doğrulama sonuçlarının olacağı 100 * 18'lik bir matris almayı bekliyorum. Bu, "kutularımın" ortalamadan daha iyi tahmin edip etmediğini hemen gösterecektir.
Ve kendi kazmam için bir sponsor olsaydı, Amazon Cloud'u kiralayabilir ve deneyi her seferinde farklı eğitim ve doğrulama setleri oluşturarak 1000 kez tekrarlayabilirdim. Ardından, en iyi modeller ve farklı hedefler için R^2 metriğinin standart hatasını tahmin etmemizi sağlayacak 1000 * 100 * 18'lik üç boyutlu bir matris olacaktır. Ama zaten kalın.
Demek istediğim, gelecekteki veriler (veya geçmiş, ancak zaman olarak açıkça ayrılmış) üzerinde test etmek gerekli ve her şey iyi olacak.
Gönderinizin anahtar kelimesi kırmızı ile işaretlenmiştir.
Modelin fazla uyması (fazla uydurma), tüm bilimin metodolojik bir sorunudur: fazla uydurma bir model (herhangi bir bilgi dalında), eğitim verileri üzerindeki belirli ayrıntıları dikkate alır ve bu özellikler eğitim verilerinin dışında meydana gelmez. Aynı zamanda, model genel popülasyonda ortak olan belirli kalıpları yakalamaz.
Benim düşünceme göre, bu sorun modellerin kendileri veya herhangi bir istatistiksel test yöntemi aracılığıyla çözülmez: fazla uydurma sonuçların haklı çıkacağını doğru bir şekilde kaydettiniz. Modeli elimde "kabalaştırma" yöntemlerini kullanma girişimi sonuç vermedi.
Benim için, fazla takma sorunu tamamen ilk veri kümesi tarafından üretilir. Sezgisel düzeyde: değişkenle ilgili girdi verileri (öngörüler) var mı? Aşırı bir durum - hiç sahip değiller - dikkate almıyorum. Orta: Parça var ve parça yok. Hedef değişkenle ilgili olmayan tahmin ediciler "sessizlik" tahmin edicileri hedef değişkenle ilgili olduğunda, kişisel deneyimden mükemmel bir şekilde çalışan bir durum. En iğrenç gürültü tahmincilerini manuel olarak ayıklamayı başardıysanız, belirli bir andan itibaren tahmin edicileri seçmek için algoritmalar çalışmaya başlar.
Rakamlar bu şekilde. 50-200 tahmin ediciden oluşan ilk setten, kendi ürettiğim yöntemleri kullanarak yaklaşık 30 parça seçtim. Bu 30 parça , yeniden eğitilmiş modeller oluşturmaz, yani. eğitim, ALE, test ve doğrulama örneklemindeki performans yaklaşık olarak aynıdır. Daha sonra paketler yardımıyla (ben varSelRF kullanıyorum, diğerlerini de kullanabilirsiniz) yaklaşık 300-500 barlık bir kayar pencere kullanarak tahmincileri seçiyorum. 10-15 adet çalışan bir tahminci seti alıyorum. Pencere hareket ettikçe, tahmin edicilerin bileşimi değişir. Elde edilen tahmin setlerinden herhangi biri de fazla uydurmaya yol açmaz, ancak performansı %5'ten %10'a yükseltir. Sınıflandırma problemleri için bu yaklaşık %20 hatadır.
Benim için, fazla takma sorunu tamamen ilk veri kümesi tarafından üretilir. Sezgisel düzeyde: değişkenle ilgili girdi verileri (öngörüler) var mı? Aşırı bir durum - hiç sahip değiller - dikkate almıyorum. Orta: Parça var ve parça yok. Hedef değişkenle ilgili olmayan tahmin ediciler "sessizlik" tahmin edicileri hedef değişkenle ilgili olduğunda, kişisel deneyimden mükemmel bir şekilde çalışan bir durum. En iğrenç gürültü tahmincilerini manuel olarak ayıklamayı başardıysanız, belirli bir andan itibaren tahmin edicileri seçme algoritmaları çalışmaya başlar.
Rakamlar bu şekilde. 50-200 tahmin ediciden oluşan ilk setten, kendi ürettiğim yöntemleri kullanarak yaklaşık 30 parça seçtim. Bu 30 parça , yeniden eğitilmiş modeller oluşturmaz, yani. eğitim, ALE, test ve doğrulama örneklemindeki performans yaklaşık olarak aynıdır. Daha sonra paketler yardımıyla (ben varSelRF kullanıyorum, diğerlerini de kullanabilirsiniz) yaklaşık 300-500 barlık bir kayar pencere kullanarak tahmincileri seçiyorum. 10-15 adet çalışan bir tahminci seti alıyorum. Pencere hareket ettikçe, tahmin edicilerin bileşimi değişir. Elde edilen tahmin setlerinden herhangi biri de fazla uydurmaya yol açmaz, ancak performansı %5'ten %10'a yükseltir. Sınıflandırma problemleri için bu yaklaşık %20 hatadır.
Dediğiniz gibi değişken seçimi ile gürültünün üstesinden gelmek mümkün. Ancak, gürültü verilerinin iyi değişkenlerin seçimini engellediğini ve bazı buluşsal yöntemler kullanılarak önceden bulunması ve kaldırılması gerektiğini söylediğinizi doğru anlıyor muyum?
Ve başka bir soru. Bu kısaltmadan anladığım kadarıyla bir tür karar ormanı kullanıyorsunuz (böyle bir yöntemi kendim kullanmadım).
Herhangi bir karar ormanı ağacı, değişkenleri seçmek için açgözlü bir algoritma + bu değişkenin aralığında bölmenize (sınır kesmenize) izin veren bir ölçümdür. Bu nedenle, ağaçların "açgözlülüğüne" dayanarak, dalların üst seviyelerinde bireysel olarak en önemli değişkenleri seçmeleri gerekir. Ağacın alt seviyelerinde (aslında ikinciden başlayarak), sonraki en önemli değişkenlerin seçimi, önceki kesimler tarafından oluşturulan gözlemlerin alt örneğinde zaten yapılır. Ve bu alt örnekte, bir sonraki en önemli değişken de aranır (her değişken için, tüm olası kesintiler sıralanır ve bu değişkenin alaka ölçütü dikkate alınan en iyi seçim yapılır). Ancak bu zaten bir gözlem alt örneğiyle çalıştığı için, genel olarak koşullu dağılımın yürürlüğe girdiği ortaya çıkıyor: var #18, daha önce kullanılan değişken #2'yi verilen alt örnek #4'te en iyisidir. Böylece, ağaç derinliği artan değişkenlerin önemi, yukarıda kullanılan değişkenlere giderek daha fazla bağımlı hale gelmektedir.
Yazarların fikrine göre gürültü değişkenleri dışarıda bırakılmalıdır. ANCAK! Yaklaşımın açgözlü doğası, örneğin, başka bir olası 2. düzeydeki diğer olası değişkenlerle birlikte 1. düzeyde reddedilen değişkenlerin, kendisi de aşırıya kaçan hedef metrikte önemli bir kazanç sağlayabileceği anlamına gelir. Uç bir durumda, her biri hedef değişkenin bakış açısından gürültü olan iki bağımsız değişken, hedef değişkenle anlamlı bir etkileşim haline gelecek şekilde ortak bir dağılım verir. Açgözlü model bunu görecektir, ancak böyle bir veri konfigürasyonu anlamında nadiren olur.
Ne düşünüyorsun?
Dediğiniz gibi değişken seçimi ile gürültünün üstesinden gelmek mümkün. Ancak, gürültü verilerinin iyi değişkenlerin seçimini engellediğini ve bazı buluşsal yöntemler kullanılarak önceden bulunması ve kaldırılması gerektiğini söylediğinizi doğru anlıyor muyum?
Aynen öyle.
Ve başka bir soru. Bu kısaltmadan anladığım kadarıyla bir tür karar ormanı kullanıyorsunuz (böyle bir yöntemi kendim kullanmadım).
Örnek olarak Forest, ancak belirtilen problemin seçilen modeli, gürültü değişkenleri normal değişkenleri "boğulduğunda" sorunu çözmez: değişkenlerin seçimi bağımsız bir problemdir.
Lütfen bir soruya cevap verin, aranızda Forex'te para kazanan var mı? Hayatımın 5 yılını ve bir milyondan fazla rubleyi harcadım ve bu güne hiçbir şey olmadı.
Lütfen bir soruya cevap verin, aranızda Forex'te para kazanan var mı? Hayatımın 5 yılını ve bir milyondan fazla rubleyi harcadım ve bu güne hiçbir şey olmadı.
Lütfen bir soruya cevap verin, aranızda Forex'te para kazanan var mı? Hayatımın 5 yılını ve bir milyondan fazla rubleyi harcadım ve bu güne hiçbir şey olmadı.
Toplamda yaklaşık olarak sıfıra gittim (belki küçük bir artı). Tüm girişimlerim açgözlülük tarafından mahvoldu.
Kârlı bir robot olsa bile (benim var) - gerçekten kârlı ve kalıcı olması anlamında - çalıştığında ve birkaç aydır sonuçları beklediğinizde, yüzde 30'luk bir büyümenin yeterli olmadığı anlaşılıyor. . Ve işte haydut geliyor. Yani, risklerin hesaplandığı ve maksimum düşüşün kontrol altında olduğu tam otomatik ticarette bile, psikolojik olarak kişisel olarak rahat yaşamıyorum.
Bu nedenle, niceliklerle ilgilenmeye karar verdim.
Not: İyi bir otomatik ticaret sistemi yaparsam, bunu herkesin kullanımına sunacağım. Ve özel baskıyı para için birine kiralayacağım.
Dediğiniz gibi değişken seçimi ile gürültünün üstesinden gelmek mümkün. Ancak, gürültü verilerinin iyi değişkenlerin seçimini engellediğini ve bazı buluşsal yöntemler kullanılarak önceden bulunması ve kaldırılması gerektiğini söylediğinizi doğru anlıyor muyum?
Aynen öyle.
Ve başka bir soru. Bu kısaltmadan anladığım kadarıyla bir tür karar ormanı kullanıyorsunuz (böyle bir yöntemi kendim kullanmadım).
Örnek olarak Forest, ancak belirtilen problemin seçilen modeli, gürültü değişkenleri normal değişkenleri "boğulduğunda" sorunu çözmez: değişkenlerin seçimi bağımsız bir problemdir.
Gürültü neden sinyali boğar? pek anlamıyorum.
Görüyorsunuz, modelin kendisinin özellik düzenlemesi varsa, etkileri hedef değişkenle karşılaştırıldıktan sonra tüm gürültü verileri yok sayılır. Model, fazla uydurmaya karşı koruma sağlamıyorsa (örneğin, ağacın uçbirim düğümündeki gözlem sayısı için alt eşik ayarlanmadıysa), tüm gürültü kullanılacaktır. Ancak bu rastgele ormanda bile çözülür.
Belki fikrinizi daha ayrıntılı olarak açıklayabilirsiniz?
Gürültü neden sinyali boğar? pek anlamıyorum.
Görüyorsunuz, modelin kendisinin özellik düzenlemesi varsa, etkileri hedef değişkenle karşılaştırıldıktan sonra tüm gürültü verileri yok sayılır. Model, fazla uydurmaya karşı koruma sağlamıyorsa (örneğin, ağacın uçbirim düğümündeki gözlem sayısı için alt eşik ayarlanmadıysa), tüm gürültü kullanılacaktır. Ancak bu rastgele ormanda bile çözülür.
Belki fikrinizi daha ayrıntılı olarak açıklayabilirsiniz?
Gürültü neden sinyali boğar? pek anlamıyorum.
bilmiyorum.
Bir tahmin edicinin hedef değişkene oranının ölçüsünü hesaplayan bir programım var. Bu bir miktar soyut değerdir.
< 1 ise, gürültü
1-2 - karışmamak daha iyi
3 üzeri iyidir.
5'in üzerinde - mutluluk, ancak nadiren
Bu nedenle, puanı 2'den az olan çok fazla tahmin edici varsa, o zaman yararlı tahminciler benimkinden başka şekillerde ayırt edilemez. Bu nasıl yorumlanır, bilmiyorum. Tahmin edicilerin sadece hedef değişken üzerinde değil, kendi aralarında da etkisi olduğunu unutmayalım. Çoğu zaman, yalnızca kaldırılacak tahmin edicilerin listesi değil, aynı zamanda kaldırılma sırası da önemlidir.
Bütün bunlar neden benim?
Ticaretin temel sorunu aşırı uyum (overfitting) sorunudur, bağımsız bir sorundur ve uygulanan model ve yöntemlere bağlı değildir.