Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 298

 
Andrey Dik :

Geliştirmeye biraz daha fazla zaman ayırıp sonra her zaman hızlı hesaplamak mı daha iyidir yoksa hızlı bir şekilde geliştirip sonra her zaman yavaş hesaplamalara katlanmak mı?

R'de gelişmesi hızlı ama sayması yavaşsa, o zaman nerede sayılacak? Hızla yavaş giden bir süper araba mı geliştiriyorsunuz? Bir süper arabaya ihtiyacım var.


Araştırma görevlerinde öne çıkan gelişme hızıdır. Süper hızlı kod yazan, ancak günde 1 hipotezi test eden bir kişi yerine, yavaş kod yazan ve bütün gece hesaplamalar yapan bir kişiyi kolayca işe alacaklar, ancak ertesi gün 20 hipotezini test etti.

Modelin üretimi ve uygulanması için, en umut verici modelleri yüksek hızlı bir dilde yeniden yazacak olan küçük bir maaş için bir kişi daha almak daha kolaydır. Birçok programcı var, rekabet yüksek; ama yeni bir şey bulabilecek araştırmacıların hala aranması gerekiyor :P

Bu yaygın bir uygulamadır. Nicel araştırmacı ve nicel geliştiricideki pozisyonları arayın. İlki genellikle R/Python bilgisi gerektirir, ikincisi - C++/Java.

 
anonim :


Araştırma görevlerinde öne çıkan gelişme hızıdır. Süper hızlı kod yazan, ancak günde 1 hipotezi test eden bir kişi yerine, yavaş kod yazan ve bütün gece hesaplamalar yapan bir kişiyi kolayca işe alacaklar, ancak ertesi gün 20 hipotezini test etti.

Modelin üretimi ve uygulanması için, en umut verici modelleri yüksek hızlı bir dilde yeniden yazacak olan küçük bir maaş için bir kişi daha almak daha kolaydır. Birçok programcı var, rekabet yüksek; ama yeni bir şey bulabilecek araştırmacıların hala aranması gerekiyor :P

Bu yaygın bir uygulamadır. Nicel araştırmacı ve nicel geliştiricideki pozisyonları arayın. İlki genellikle R/Python bilgisi gerektirir, ikincisi - C++/Java.

Hazır ve hızlı C++ kitaplıklarını kullanmak daha kolay değil mi? "hızlı gelişme" için R'de aynı ancak yavaş kullanmak yerine? Siz ve buradaki birçok kişi, sürekli olarak kavramların yerini değiştiriyorsunuz. Benzer şekilde, C benzeri bir ortamda "hızlı geliştirebilirsiniz". Veya R'de çalışmak için veri madenciliği ve istatistikte uygun bilgiye ihtiyacınız yok mu? Aynı şekilde, C'de gelişirken bilgiye ihtiyaç vardır. Peki neden çifte iş yapılır?

Ve ne tür bir "olağan uygulamadan" bahsettiğinizi bilmiyorum ama ben bunu hemen ve bir kere yapmaya alışığım.

Mühendislik pratiğimde, herhangi bir nedenle, geliştirmesi kolay süper-duper yazılım sistemlerini kullanırlarsa, kesinlikle başarılı olacaklarını düşünen insanları sık sık gördüm ... Ama bir şeyi anlayamadılar - her şeyin olacağını iyi çalış, başka bir şeye ihtiyaç var: kafadaki yağ.

 
Andrey Dik :

Hazır ve hızlı C++ kitaplıklarını kullanmak daha kolay değil mi? "hızlı gelişme" için R'de aynı ancak yavaş kullanmak yerine? Siz ve buradaki birçok kişi, sürekli olarak kavramların yerini değiştiriyorsunuz. Benzer şekilde, C benzeri bir ortamda "hızlı geliştirebilirsiniz".

Dil seçimi sizin hakkınızdır ve özel bir meseledir. Kütüphanelere gelince - ne yazık ki, herhangi bir modern veya olağandışı algoritma için, her şeyi kendiniz uygulamanız gerekecek. Diyelim ki "bipower varyansını" hesaplamak için herhangi bir kitaplık bulamadım (bu ne anlama gelir? :D).

Veya R'de çalışmak için veri madenciliği ve istatistikte uygun bilgiye ihtiyacınız yok mu?

Bunu iddia etmedim ve bu görüşü desteklemiyorum.

Ve ne tür bir "olağan uygulamadan" bahsettiğinizi bilmiyorum ama ben bunu hemen ve bir kere yapmaya alışığım.

Mühendislik pratiğimde, herhangi bir nedenle, geliştirmesi kolay süper-duper yazılım sistemlerini kullanırlarsa, kesinlikle başarılı olacaklarını düşünen insanları sık sık gördüm ... Ama bir şeyi anlayamadılar - her şeyin olacağını iyi çalış, başka bir şeye ihtiyaç var: kafadaki yağ.

Kodun %95'inin R'de yazıldığı ## adam-yıl karmaşıklığına sahip bazı projelerdeki deneyimim, farklı araçların farklı görevler için iyi olduğunu, hatta bazen üretim için değil, prototipler için kullanılıyorsa yavaş olanların bile olduğunu gösteriyor. Nicel finans endüstrisinde, farklı geliştirme aşamalarında farklı araçların kullanılması yaygın bir uygulamadır ve bu, farklı boş pozisyonlar için uzmanların gereksinimleriyle doğrulanır. Bahsettiğim projeler, herhangi bir araştırma aşamasına gerek duymadan, her şeyi bilen ve yapabilen ve hemen soruna çözüm yazan evrensel askerler tarafından bile C benzeri bir dilde hemen uygulansalar çok daha karmaşık hale gelirdi.

Sim'e boyun eğiyorum.

 
Andrey Dik :

Hazır ve hızlı C++ kitaplıklarını kullanmak daha kolay değil mi? "hızlı gelişme" için R'de aynı ancak yavaş kullanmak yerine?

R'yi tartışırken, her zaman bu "grafik ve istatistik sistemi"nin kapsamlı, sistematik bir değerlendirmesini savundum. algoritmik dilin kendisinden başlıkta hiç bahsedilmiyor.

R'deki kodun hızının ve yukarıdaki gibi, μl'deki kodun veya belirli bir yerel örnekteki başka bir programlama dilinin kafa kafaya karşılaştırılması, TS hiçbir zaman korelasyon işlevinden oluşmadığından, tamamen doğru DEĞİLDİR. yukarıda tartışılmıştır, ancak her zaman kod ve işlev çağrılarından oluşan büyük bir kümedir. R çok sayıda özelliğe sahip olduğundan, kodun genellikle az sayıda satırı vardır (1000 satır çoktur), ancak çok geniş bir içeriğe sahiptir.

Anlamlı bir sorunu çözen programın kendisi kabaca iki kısma ayrılabilir:

  1. R ile yazılmış kod olarak algoritma
  2. R'nin sarmalayıcı olduğu işlevlere çağrı.

İstem 1'e göre, önemli miktarda kod yazmanız gerekiyorsa, hız sorunu çok ciddi olabilir. Üstesinden gelmenin üç yolu vardır:

  • bayt koduna dönüştürme
  • tüm çekirdeklere ve/veya komşu bilgisayarlara paralelleştirme. Bunlar standart araçlardır ve algoritma izin veriyorsa çok basit bir şekilde yapılır.
  • başka bir dile yeniden yazma, derleme türü. Cish dilleri R'ye özgüdür ve bu tür eklerin süreci iyi belgelenmiştir.

İddia 2'ye göre, hız açısından durum tamamen farklıdır ve bir mikro programın olağan geliştirilmesinde özel çabalar olmadan, hız açısından R'yi geçmenin mümkün olacağından şüpheliyim.

Örneğin.

Yüzeyde, vektörler ve matrisler üzerindeki R işlemlerinde temel olduğu gerçeği yatmaktadır. <- b*c gibi bir ifade Intel kitaplığı tarafından yürütülür. Döngüler yok. Herkes tarafından kullanılabilir, ek bilgi veya çaba gerekmez. Bir µl programı geliştirirken, büyük olasılıkla döngüler kullanılacaktır, ancak aynı kitaplığa atıfta bulunmak da mümkündür (program pazar için değilse), ancak aynı şeyi başarmak için yeterince yüksek düzeyde bilgi ve çaba gereklidir. sonuç.


Ama hepsi bu değil.

Hesaplamalı olarak ağır algoritmalara dönersek ve bunlar R fonksiyonlarına çağrılarsa, hız sorunuyla karşı karşıya kalan geliştiricinin kendisi bu sorunu halletmiş ve genellikle sorunu geliştirme aşamasında çözmüştür. Genellikle bu, ya C kodu yazılarak ya da C veya Fortran'daki kitaplıklara başvurularak çözülür. Ayrıca bu tür algoritmalarda çağrı parametreleri arasında çok sayıda çekirdeğin kullanımını belirtmek mümkündür. R geliştiricisi, tüm bunları herhangi bir çaba harcamadan otomatik olarak alır. Uygulama tekniğine değil, TS'nin özüne tamamen odaklanabilirsiniz. Bir µl-program geliştiricisinin banal bir nedenle R'deki fonksiyonların geliştiricisini geçebileceği şüphelidir - kişi özellikle hız üzerinde çalışmalıdır, TS'nin özü üzerinde değil.


Yazılan her şeyden, performansın doğru bir karşılaştırmasının, µl başına gerçek bir TS kodu ve µl+R başına aynı kodu (R'de ticaret emri yoktur) yazmak ve karşılaştırmak olduğu sonucu çıkar. Ama tüm ihtişamıyla - buna ihtiyacımız var mı?

 
mytarmailS :
Tekrarlama grafikleriyle çalışmayı deneyen var mı? buradan okuyabilirsiniz https://habrahabr.ru/post/145805/ , özellikle ham VR yerine MO kayması? bir seçenek olarak aşağı gelebilir


ve‌ daha fazlasını okuyun http://geo.phys.spbu.ru/Problems_of_geophysics/2005/20_Zolotova_38_2005.pdf


Uygulayabilenler için bir fikir. Eşleşen kalıpları aramak için bu yinelenen grafikleri karşılaştırmak için makine vizyonunu kullanın. Kendiliğinden olmayan korelasyonun yerine
 
Maksim Dmitrievski :

Uygulayabilenler için bir fikir. Eşleşen kalıpları aramak için bu yinelenen grafikleri karşılaştırmak için makine vizyonunu kullanın. Kendiliğinden olmayan korelasyonun yerine
Gösterişler olmadan en sık görülen kalıbı bulabilirsiniz. Ama bunun anlamı ne?
 
fxsaber :

Önceden, TS bazı fikirleri test edemiyordu, çünkü bazı algoritmaların düşük performansına karşı durmuştur. Bu durumda, tam olarak olan buydu - alternatif bir algoritma, optimize edicinin dünya kadar eski, ancak daha önce makul bir sürede hesaplanamayan bir fikri keşfetmesine izin verdi.


Birkaç bin uzunluğunda desenlere sahip yüz milyarlarca Pearson CC'yi saymanız gerektiğinde, görünüşte basit bir görevin düşük hızı aşılmaz bir darboğaz haline gelir. Bir problem hesaplama açısından çok ağır görünüyorsa, o zaman zayıf formüle edilmiş, zayıf anlayışlı bir problem olduğunu söylemeye başlayabiliriz. Belki de haklısın. Ama ne yapıldıysa yapılır. Ve başkalarının benzer şeyleri nasıl uyguladığını görmek her zaman ilginçtir.


Ve GPU'ya da uygularsanız, sizin için herhangi bir fiyat olmayacaktır))
 
fxsaber :
Gösterişler olmadan en sık görülen kalıbı bulabilirsiniz. Ama bunun anlamı ne?

Pekala, kalıplarla ilgili stratejiler için elbette) en sık kullanılanı değildir, birçok seçenek olabilir
 
Maksim Dmitrievski :

Pekala, kalıplarla ilgili stratejiler için elbette) en sık kullanılanı değildir, birçok seçenek olabilir

Anlamadığım şey bu. Desen verilerini kullanmak, verileri az bilgi kaybıyla (çeşitli ortamlar) sıkıştırırken kullanışlıdır. Ama DONANIM için hangi tarafta?

Bu konu hakkında konuşmanın en kolay yolu, örnek olarak en yaygın kalıbı kullanmaktır. Onu bulmak göz korkutucu bir iş değil.

İşte bir çeşit zagagulin (desen) en yaygın olanıdır. Seçiminin kriteri şimdi çok önemli değil. Bir zagagulin olsun. Ticaret için nasıl kullanılır?

Son tarih zagagulinin ilk %80'i ile çakışırsa, sonraki fiyatların zagagulinin kalan %20'si ile aynı şekilde gideceğini söylemek - saçmalık.

 
fxsaber :

Anlamadığım şey bu. Desen verilerini kullanmak, verileri az bilgi kaybıyla (çeşitli ortamlar) sıkıştırırken kullanışlıdır. Ama DONANIM için hangi tarafta?

Bu konu hakkında konuşmanın en kolay yolu, örnek olarak en yaygın kalıbı kullanmaktır. Onu bulmak göz korkutucu bir iş değil.

İşte bir çeşit zagagulin (desen) en yaygın olanıdır. Seçiminin kriteri şimdi çok önemli değil. Bir zagagulin olsun. Ticaret için nasıl kullanılır?

Son tarih zagagulinin ilk %80'i ile çakışırsa, sonraki fiyatların zagagulinin kalan %20'si ile aynı şekilde gideceğini söylemek - saçmalık.


Sizce bu neden saçmalık? vakaların kütlesinde tahmin doğrulanırsa, aynı tarihte