Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3335
Alım-satım fırsatlarını kaçırıyorsunuz:
- Ücretsiz alım-satım uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Ana treni, her birini bir iz ve bir şafta böldüğünüz 5-10 alt trene ayırın. Her birini cv türüne göre eğitin, ardından tüm anakütle üzerinde tahmin yapın. Tüm modeller için orijinal etiketleri tahmin edilen etiketlerle karşılaştırırsınız. Tahmin edemeyenler kara listeye alınır. Ardından, her örnek için ortalama aspirasyonu hesaplayarak son modeli eğitirken tüm kötü örnekleri kaldırırsınız. İsteğe bağlı olarak, ikinci modele 3. sınıf aracılığıyla beyaz örnekleri siyah örneklerden ayırmayı öğretebilirsiniz.
.
Etiketler (öğretmen, hedef değişken) tanım gereği saçma OLAMAZ. Alıntı, tahmin edicilerin dışındaki bazı hususlardan işaretlenir. Etiketlere karar verildikten sonra, bulunan etiket kümesiyle ilgili tahmin ediciler sorunu ortaya çıkar. Bir etiket kümesinin güzel olması gibi bir sorunla karşılaşmak kolaydır, ancak bunlar için tahmin ediciler bulamayız ve başka bir etiket kümesi aramak zorunda kalırız. Örneğin, işaretler ZZ ters çevirmeleridir. Güzel işaretler. Peki bu tür etiketler için tahmin ediciler nasıl bulunur?
Etiketleri tahmin edicilere göre filtrelemeye başlar başlamaz - bu süper uydurmadır, piyasa dahil burada gösterdiğiniz her şey - doğal bir adım adım modunda harici, yeni bir dosya üzerinde çalışmaz.
Evet, ilginç.
Ayrı bir örnek testte - 7467 ve sınavda - 7177, ancak hiç aktivasyonu olmayan az sayıda yaprak olmadığını size bildiririm - bunları bir kerede saymadım.
Bu, test örneği için değerlerine göre sınıf değiştiren yaprakların dağılımıdır.
ve bu da sınav.
Ve bu da sınıflara dağılım - üç tane var, üçüncüsü "-1" - aktivasyon yok.
Eğitim örneği için.
Örnek test için
Sınav örneği için.
Genel olarak, yaprak ağırlıklarının artık sınıf mantığına karşılık gelmediğini görebilirsiniz - aşağıda test örneğinden alınan grafik var - net bir vektör yok.
Genel olarak, bu eğitim yöntemi her şeye yaklaşır, ancak tahmin edicilerin kalitesini garanti etmez.
Genel olarak, yukarıdaki grafikteki farklı "çubukların" yerine ve aktivasyon sıklığına göre çok benzer yapraklar olduğunu kabul ediyorum.
Bilmediğiniz bir şeyi tartışmak zordur. Bu nedenle başarınız için sadece mutlu olabilirim. Böyle bir yöntemim olsaydı kullanırdım :)
Benim yöntemim şu ana kadar bu kadar kaliteli sonuçlar vermiyor ama yeterince paralellik gösteriyor.
Peki nicelleştirme bunda nasıl bir rol oynadı? 10 puanlık bir ölçekte
Düşünce süreçlerini tamamen izole etmek zordur.
Çeşitli cephelerde sorunlar var - bu nedenle daha az çaba ve daha fazla sonuçla neyin geliştirilebileceğine bakmak. Periyodik olarak "verilerden" "öğrenme sürecine" atlamak ve deneyler yapmak.
Orijinal fikir korelasyonu tahmin etmek, ancak hazır bir yöntem bulamadım, kendiminkini modernize ediyorum. Bence yapraklar birbirine benzerse tahmini bozarlar.
Bu ilginç bir fikir. Bu oyunu belki daha sonra oynarım, oyunlara yaratıcılık olarak bakıyorum, oyunların grafiksel olarak eskimesi artık çok daha yavaş.
God of War'ı (2018) eski bir HD7950 ekran kartında (sadece hesaplamalar için olan ayrı bir bilgisayara attım) on altında çalıştırdım, grafikleri en aza indirdim ve görüntü karşısında şok oldum. Ancak asıl ilgi çekici olan, baba ve oğul arasındaki ilişkinin detaylandırılmasıdır - bu konunun gündeme geldiği bilgisayar endüstrisinde benzerlerini bulmak zordur.
Ana parkuru, her biri bir parkur ve şafta bölünmüş 5-10 alt parkura bölün. Her birinde cv tipi üzerinde eğitim yaparsınız, ardından tüm ana iz üzerinde tahmin yaparsınız. Tüm modeller için orijinal etiketleri tahmin edilen etiketlerle karşılaştırırsınız. Tahmin edemeyenler kara listeye alınır. Ardından, her örnek için ortalama aspirasyonu hesaplayarak son modeli eğitirken tüm kötü örnekleri kaldırırsınız. İsteğe bağlı olarak, ikinci modele 3. sınıf aracılığıyla beyaz örnekleri siyah örneklerden ayırmayı öğretebilirsiniz.
.
Ancak burada verilerle modeller aracılığıyla da çalışıyoruz. Ya da herhangi bir fark görüyor musunuz?
Ama aynı zamanda modeller aracılığıyla verilerle de çalışıyor. Ya da herhangi bir fark görüyor musunuz?
Otomatikte olduğu gibi, düşünmek ve (önemli olan) herhangi bir şey yapmak gerekli değildir :)
CatBoost'ta eğitim yöntemindeki aşırı rastgelelik dikkate alındığında - yaklaşımın kendisini değerlendirmek zordur. Orada bir ağaç oluştururken dizelere müdahale ediyorlar ve verileri bachami ile besliyorlar, peki, eğer hepsi yasak değilse ...
Yukarıda dalda yazdığım gibi, analoji yoluyla yeni verilerde kaç sayfanın sınıf değiştirdiğini değerlendirmek ilginçtir. Bu, yaklaşımın/modelin kalitesinin bir ölçütü olabilir.
CatBoost'un eğitim yöntemindeki aşırı rastgeleliği dikkate alındığında, yaklaşımın kendisini değerlendirmek zordur. Orada bir ağaç oluştururken dizelere müdahale ediyorlar ve verileri bacham ile besliyorlar, eğer yasak değilse...
Yukarıda dalda yazdığım gibi, analoji yoluyla, yeni verilerde kaç sayfanın sınıf değiştirdiğini değerlendirmek ilginçtir. Bu, yaklaşımın/modelin kalitesi için bir ölçüt olabilir.
İdeal olarak, bu rastgelelik veri kümesindeki rastgelelik kadar kötü değildir
Rastlantısallıktan şans eseri güzel bir model elde etmek mümkündür - sorun da budur, ancak imkansız olsaydı, bunun bir önemi olmazdı.
Bir modeli eğitmek sorun değildir - sorun, yeni veriler üzerinde doğru çalışma potansiyeli daha yüksek olanı seçmektir.
Bu, bu potansiyeli artırmaya izin veren ilginç bir yaklaşımdır. Ve modelin etkinliğini değerlendirmek için, sadece bir sınıflandırma doğruluğu istatistiğine değil, örneğin yaprakların ayrı ayrı değerlendirilmesi gibi başka bir şeye, bir tür metriğe ihtiyacımız var. Tahmin edicilerdeki göstergelerin değiştiği açıktır - bu yüzden yapraklar çok gürültülüdür ve gerçek sınıfları "değiştirir". Bu yüzden bu karmaşık bir görevdir - iyi etiketlere ve istikrarlı tahmin edicilere ihtiyacınız vardır ve bunların kombinasyonları modelde nadir değerlere sahip yapraklar oluşturmamalıdır.
Üretimde, modelde kullanılan tahmin edicilerin değerlerinin dağılımındaki değişiklikleri izlemek ve değişiklikler önemli ve kapsamlıysa modeli frenlemek zaten gereklidir. Ancak bu yaklaşım, bizim için kayıpların birikmesine eşit olan istatistiklerin birikmesini gerektirir ve bu iyi değildir. Modeli dışlamak için daha hızlı bir yönteme ihtiyacımız var, ancak tamamen düşüşe dayalı olmayan makul bir yönteme.
Çok fazla sorun var ve bunları çözmeden, yönetim için modele para vermek istemiyoruz.
Evet, ikili sistem daha karmaşıktır. Ancak burada karne uygulamasının nasıl yardımcı olabileceğini anlamıyorum.
0 ve 1 ile ikili işaret zaten normalleştirilmiştir ve geri kalanı da normalleştirilmelidir.
0ve1'li ikili özellik zaten normalleştirilmiştir ve diğerlerinin de normalleştirilmesi gerekir.
Umarım düşüncenizi anlıyorumdur.
Ancak, aynı 32 segmentle tek tip niceleme yapıldığında, "1" segmentinin 0 ve "32" segmentinin 1 olduğunu düşünebiliriz. Ve bu diğer rakamlar için de böyledir. Bu yüzden buradaki temel farkın ne olduğunu anlamıyorum.
Umarım düşünce tarzınızı anlamışımdır.
Ancak, aynı 32 segment üzerinde tekdüze niceleme yapıldığında, "1" segmentinin 0 ve "32" segmentinin 1 olduğunu düşünmek mümkündür. Ve bu diğer rakamlar için de böyledir. Bu yüzden buradaki temel farkın ne olduğunu anlamıyorum.
32'ye indirirseniz, ikili 0 ve 1'i 0 ve 32'ye (ve diğerleri, örneğin 5 kuanta ile 0...5'ten 0...32'ye) uzatın. Her şeyi orantılı hale getirmek için. Ya da klasik olarak her şeyi tek bir hiperküpe sıkıştırın (normalizasyon gerektiren sinir ağlarında olduğu gibi.) Özü aynıdır - her iki varyantta da aynı ölçeği elde ederiz.