Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 1298

 

Daha önce gürültülü değerleri dizilerinden çıkarmanın teorik olasılığı hakkında konuştuk, işte orijinal model

ancak ikili ağaçların yanıtlarının ağırlığı ile diziden 0.01 ila -0.01 arasındaki gürültüyü kaldırdı

Karlar biraz daha düşük, ancak göreceli performans arttı.

 

Hmm, zaten ikili ağaçlar -0.02'den 0.02'ye kaldırıldı (değerleri sıfırladı)

Görünüşe göre ilerleme zayıf değil, bu da bunda bir rasyonalizm çekirdeği olduğu anlamına geliyor - daha fazla araştırma gerekiyor.

 
Alexey Vyazmikin :

Oldukça ilkel ise, ilk ağacın örneğe yanıtı yoktur, sıfır döndürür ve dördüncü ağaç bu yanıtı alır ve "olasılığı" 0,6 olarak dikkate alır - teknik olarak ilk ağacın hatasını düzeltir, ancak gerçekte daha önce hiç var olmayan bir bağlantıyı ortaya çıkardı.

İlk ağacın hatası sadece 0 değil, 1 de olabilir.

Onlar. ilk ağaç 1 öngördüyse, ancak aslında 0 varsa, o zaman sonraki ağaçların toplamı 1'den 0'a düşürmesi gerekir. Yani, 2.3 vb. ağaçlar, birkaç çıkarma ile N adımdan sonra ilk ağaçtan 1'i 0'a düşürmek için olumsuz bir tahmin yapacaktır.

 
elibrarius :

İlk ağacın hatası sadece 0 değil, 1 de olabilir.

Onlar. ilk ağaç 1 öngördüyse, ancak aslında 0 varsa, o zaman sonraki ağaçların toplamı 1'den 0'a düşürmesi gerekir. Yani, 2.3 vb. ağaçlar, birkaç çıkarma ile N adımdan sonra ilk ağaçtan 1'i 0'a düşürmek için olumsuz bir tahmin yapacaktır.

Tabii ki katılıyorum. Ancak bu özü değiştirmez - ağacın bulduğu kalıp önemlidir ve bu kalıbın yorumlanması ayrı bir algoritmanın işidir.

 
Alexey Vyazmikin :

Ve topluluk hakkında bilgim yok, yani. Diğer bölgelerdeki diğer insanların bunu nasıl yaptığını bilmiyorum?

MO kullanarak bir insan davranışı modeli (veya algoritması) aradığım için veri çekmek bana mantıklı geliyor, bu tür birçok davranış modeli olabilir ve bunlar bağımsız olabilir, bu yüzden mümkün olduğunca çıkarmak mantıklı , yani her şeyi bir arada nasıl genelleştireceğimizi imkansız. Ve bazıları için, piyasa bütün bir şeydir, kolektif zihnin çalışmasının sonucu, kuralsız belirli bir oylama organı, bu durum için görünüşte doğru olan, piyasanın davranışını ayrı bir olarak tanımlayan bir model arıyorlar. organizma.

Peki, bunun bir parçası olduğunu nasıl bilemezsin)

belki paylaşırım çünkü Başlangıçta görev, manuel bir rutin olmadan her şeyi kendi seçen AI gibi bir şey yapmaktı. Rutin sadece böyle bir şey tasarlarken

Yüzlerce / binlerce modeli manuel olarak nasıl sıralayabileceğinizi hayal edemiyorum, orada bir şey seçin. Aksine, aracı bir kabus olarak "icat etmeyi" unutmak istiyorum.

 
Maksim Dmitrievski :

Peki, bunun bir parçası olduğunu nasıl bilemezsin)

belki paylaşırım çünkü Başlangıçta görev, manuel bir rutin olmadan her şeyi kendi seçen AI gibi bir şey yapmaktı. Rutin sadece böyle bir şey tasarlarken

Yüzlerce / binlerce modeli manuel olarak nasıl sıralayabileceğinizi hayal edemiyorum, orada bir şey seçin. Aksine, aracı bir kabus olarak "icat etmeyi" unutmak istiyorum.

Bu yüzden her bir modeli ayrı ayrı nasıl analiz edeceğimi bilmiyorum - bu yüzden toplu işlemeye odaklandım. Model oluşturma döngüsünün genel algoritmasını geliştirmek, yeni fikirler aramak için bireysel modeller ayrıntılı analize tabi tutulur.

Sorun şu ki, tamamen farklı sonuçlar veren yüz binlerce model varyasyonunuz olduğunda, sonuçları iyileştirmek için tam olarak ne yapılması gerektiğini anlamak zordur - en büyük eklentiye sahip olduğum yer burasıdır. Ya 4 tahmin edicide ilginç bir model elde edilir ve yeni tahmin ediciler eklemenin bir anlamı yok gibi görünüyor, ancak sadece daha fazla model oluşturulmalı, aksine, birçok tahmin edici kullanılıyor ve eğitim örneğinin daha fazla etkisi var, artı birçok parametre var. CatBoost'un kendisinden eğitim için. Bu nedenle, birçok model üretip her 100 binden 2-3'ünü tasarruf etmek ve daha sonra bunları daha ayrıntılı incelemek gerektiğini düşünüyorum.

 
Alexey Vyazmikin :

Bu yüzden her bir modeli ayrı ayrı nasıl analiz edeceğimi bilmiyorum - bu yüzden toplu işlemeye odaklandım. Model oluşturma döngüsünün genel algoritmasını geliştirmek, yeni fikirler aramak için bireysel modeller ayrıntılı analize tabi tutulur.

Sorun şu ki, tamamen farklı sonuçlar veren yüz binlerce model varyasyonunuz olduğunda, sonuçları iyileştirmek için tam olarak ne yapılması gerektiğini anlamak zordur - en büyük eklentiye sahip olduğum yer burasıdır. Ya 4 tahmin edicide ilginç bir model elde edilir ve yeni tahmin ediciler eklemenin bir anlamı yok gibi görünüyor, ancak sadece daha fazla model oluşturulmalı, aksine, birçok tahmin edici kullanılıyor ve eğitim örneğinin daha fazla etkisi var, artı birçok parametre var. CatBoost'un kendisinden eğitim için. Bu nedenle, birçok model üretip her 100 binden 2-3'ünü tasarruf etmek ve daha sonra bunları daha ayrıntılı incelemek gerektiğini düşünüyorum.

evet, böyle, mümkün olduğu kadar otomatikleştirmek arzu edilir, böylece daha sonra bir fincan kahve üzerinde en çok hangisini sevdiğinizi banal bir seçim olacaktır.

yapmak zor, katılıyorum, ama o zaman sıradan bir sınıflandırıcı değil khukhra muhra değil AI olacak

ikincisinden - ya AutoML var - sinir ağının kendisi en iyi sinir ağını veya belirli bir görev için bir dizi modeli seçer, bu da harikadır. henüz kullanmadım
 
Maksim Dmitrievski :

evet, böyle, mümkün olduğu kadar otomatikleştirmek arzu edilir, böylece daha sonra bir fincan kahve üzerinde en çok hangisini sevdiğinizi banal bir seçim olacaktır.

yapmak zor, katılıyorum, ama o zaman sıradan bir sınıflandırıcı değil khukhra muhra değil AI olacak

Şimdi, eğitimden sonra, sonuçlar bir komut dosyası (bir model yorumlayıcı olmadan - CatBoost hesaplamasının sonuçlarına göre) ve 100.000 modelden üçünde de belirtilen kriterleri (model kriterleri ve ticaret kriterleri) karşılayanlar işlenir. örnekler elde edilir, yaklaşık 50-100 model elde edilir, bunların zaten terminalde oynatmak için dönüştürülmesini sağlıyorum ve orada daha ayrıntılı bir seçim için ikinci bir geçiş yapıyorum. Prensip olarak tam olarak ne istediğinizi biliyorsanız terminalde çalıştırmanıza bile gerek yok ama şimdilik seçim kriterleri arıyorum ve görsel olarak farklı modellere bakmanın da gereksiz olmadığını düşünüyorum. Ve böylece, senaryo ile denge eğrilerini hemen kaydetmek mümkün, ancak çizelgelerle nasıl çalışacağımı bilmiyorum - ellerim çözemiyor.

Python'da aynı anda birçok model oluşturmak mümkün mü bilmiyorum ama ilgileniyorsanız, bunu yaptığım toplu iş dosyalarını atabilirim.

 
Alexey Vyazmikin :

Şimdi, eğitimden sonra, sonuçlar bir komut dosyası (bir model yorumlayıcı olmadan - CatBoost hesaplamasının sonuçlarına göre) ve 100.000 modelden üçünde de belirtilen kriterleri (model kriterleri ve ticaret kriterleri) karşılayanlar işlenir. örnekler elde edilir, yaklaşık 50-100 model elde edilir, bunların zaten terminalde oynatmak için dönüştürülmesini sağlıyorum ve orada daha ayrıntılı bir seçim için ikinci bir geçiş yapıyorum. Prensip olarak tam olarak ne istediğinizi biliyorsanız terminalde çalıştırmanıza bile gerek yok ama şimdilik seçim kriterleri arıyorum ve görsel olarak farklı modellere bakmanın da gereksiz olmadığını düşünüyorum. Ve böylece, senaryo ile denge eğrilerini hemen kaydetmek mümkün, ancak çizelgelerle nasıl çalışacağımı bilmiyorum - ellerim çözemiyor.

Python'da aynı anda birçok model oluşturmak mümkün mü bilmiyorum ama ilgileniyorsanız, bunu yaptığım toplu iş dosyalarını atabilirim.

python'da her şeyi yapabilirsin

hayır, henüz değil, teşekkürler .. İlginç kitaplar okurum. Ayrıca python'da catbust kullandım, ormanla karşılaştırdım, büyük bir gelişme görmedim, ancak kendini ayarlıyor ve harika çalışıyor. Aslında birkaç satırda.

 
Maksim Dmitrievski :

AutoML - sinir ağının kendisi, belirli bir görev için en iyi sinir ağını veya model setini seçer, ayrıca harika. henüz kullanmadım

Evet, benzer bir şey yaptım - soru yine tahmin edicilerde ve seçim kriterlerinde (hedef). Şimdi (aylar sonra) tüm fikirleri tahmin edicilerle bitirip bu konuya döneceğim. Ve sonuç genel olarak, benzer modellerin nasıl çalıştığını daha önce yayınlamıştım, ancak farklı yayılıma sahip çeşitli örneklere ihtiyacımız var, tercihen farklı modellerden.

Peki bu AutoML, tahmin ediciler ve hedefler olarak ne kullanıyor?