Test ajanlarının çılgınca önbelleği

 

Hepinize iyi günler!

Bu sorunla karşılaştı:

Sistemde 32 mantıksal işlemciye sahip olmak - Optimizasyon için sırasıyla 32 aracı kullanıyorum (+ 40 daha uzak aracı)

Her aracı, günde toplamda 70 GB'den fazla olan 2-2.6 GB'lik tamamen yetersiz boyutlarda bir önbelleği hızla büyütür! Önbelleğin kendisi silinmez ve sürekli olarak büyür. Bu çılgınlığı durduran tek şey disk alanının bitmesiydi. Ondan sonra ajanlar aptalca çalışmayı bırakırlar.

Asıl sorular şunlardır:

Böyle bir sorunla karşılaşan var mı? Nasıl başa çıkılır bununla? Bu tür önbellek birimlerine ne sebep olabilir?

Servis masasına bir istek yazdı, şimdiye kadar sessizlik.

 
Not: terminal 64 bit, en son sürüm
 
alrane :

Hepinize iyi günler!

Bu sorunla karşılaştı:

Sistemde 32 mantıksal işlemciye sahip olmak - Optimizasyon için sırasıyla 32 aracı kullanıyorum (+ 40 daha uzak aracı)

Her aracı, günde toplamda 70 GB'den fazla olan 2-2.6 GB'lik tamamen yetersiz boyutlarda bir önbelleği hızla büyütür! Önbelleğin kendisi silinmez ve sürekli büyür. Bu çılgınlık ancak disk alanı tükenerek durduruldu. Ondan sonra ajanlar aptalca çalışmayı bırakırlar.

Asıl sorular şunlardır:

Böyle bir sorunla karşılaşan var mı? Nasıl başa çıkılır bununla? Bu tür önbellek birimlerine ne sebep olabilir?

Servis masasına bir istek yazdı, şimdiye kadar sessizlik.

Önbellek boyutu, oluşturulan onayların sayısına bağlıdır (yani, test süresi ve sembol sayısı ne kadar uzun olursa, önbellek o kadar büyük olur).

Sizin durumunuzda, muhtemelen asıl sorun temsilci sayısıdır, çünkü şimdi (derleme 1495) her aracı kendi önbellek örneğini kullanıyor!

Önbellek alanı, 5 dakikalık aracı kesinti süresinden sonra serbest bırakılır.

Ek olarak, ajanlar bulutta kullanılıyorsa, test edenin aracılarının onay geçmişi yer kaplayabilir (tik geçmişi de zaman içinde temizlenir, ancak sayı günler veya haftalar sürer)

Bu arada, bulut aracıları ve yerel aracılar farklı aracılardır. Resimde, aynı bilgisayardaki bulut aracıları yerel ağ çiftliğine eklendi - Voilà! İki çekirdekli ve dört mantıksal işlemcili bir işlemci üzerinde 8 test aracısı ortaya çıktı (bunu yapmaya değer olup olmadığı başka bir soru).

 
Küller :

В Вашем случае, вероятно, главная проблема - количество агентов, т.к. сейчас (билд 1495) каждый агент использует собственный экземпляр кэша!

Bu (geliştiriciler beni affetsin), aracıların sayısı bir avantajdan bir soruna dönüştüğünde, test organizasyonunun aptallığıdır.

Test cihazının hiçbir ayarı yoktur, bu nedenle çalışmasını sisteminiz için optimize etmek imkansızdır. Sonuç olarak, çılgınca sayıda küçük dosyaların üzerine yazma ile sabit diskin tecavüzüne uğradık (sistemde 32 ajan ile 120GB SSD'de günde 800GB'a kadar mümkün olduğunca fark ettim) ve komik olan şu ki çekirdekler şu anda boşta.

4 farklı test cihazını farklı fiziksel disklerde taşınabilir modda çalıştırarak sorunu kısmen çözdü. dahil ve RAM diski, çünkü test cihazı, büyük miktarda belleği gözetimsiz bırakır.

Bu arada, bir ramdisk üzerinde önbelleğe sahip bir aracının çalışması, performansı genellikle 3 kata kadar artırır! Bu, bir kez daha testçinin çalışmasının iğrenç organizasyonunu gösterir.

Küller :

Bu arada, bulut aracıları ve yerel aracılar farklı aracılardır. Resimde, aynı bilgisayardaki bulut aracıları yerel ağ çiftliğine eklendi - Voilà! İki çekirdekli ve dört mantıksal işlemcili bir işlemci üzerinde 8 test aracısı ortaya çıktı (bunu yapmaya değer olup olmadığı başka bir soru).

Bunu aynı nedenden dolayı yapmamalısınız - çekirdekler ayrıca diskten veri bekleyecek, ancak zaten çift birimde. Bunun sadece performansı düşüreceğini düşünüyorum.
 
alrane :
Bu (geliştiriciler beni affetsin), aracıların sayısı bir avantajdan bir soruna dönüştüğünde, test organizasyonunun aptallığıdır.

Test cihazının hiçbir ayarı yoktur, bu nedenle çalışmasını sisteminiz için optimize etmek imkansızdır. Sonuç olarak, çılgınca sayıda küçük dosyaların üzerine yazma ile sabit diskin tecavüzüne uğradık (sistemde 32 ajan ile 120GB SSD'de günde 800GB'a kadar mümkün olduğunca fark ettim) ve komik olan şu ki çekirdekler şu anda boşta.

...
Bu arada, bir ramdisk üzerinde önbelleğe sahip bir aracının çalışması, performansı genellikle 3 kata kadar artırır! Bu, bir kez daha testçinin çalışmasının iğrenç organizasyonunu gösterir.

...

Servis Masasına Yazınız .

 
Zaten yazdı. Bestolku.
 

Diskten birkaç gigabayt veri okumak zorunda kalmak "iğrenç bir organizasyon" mu? Saniyede ortalama 200 mb hızla ssd'den sadece 1 GB veri okumak bile 5 saniye sürecektir. Ve orada 4-32 ajan varsa?

Siz sadece sorunun teknik tarafını düşünün. Ücretsiz hiçbir şey yoktur ve hiç kimse teknik gereksinimleri sıfırla çarpmaz.

Aracıların teknik çözümü ve optimizasyon düzeyi inanılmaz - buna çok fazla iş koyduk ve tüm süreçlerden milisaniyeler çıkardık. Veri hacimlerini unutmayın, daha fazla RAM kurun, büyük ssd'ler kurun, ram diskleri kurun ve her şey hızlandırılacaktır.

Tüm bunların fiyatları zaten kabul edilebilir düzeyde ve çözülenlerin sınıfı ve hacmi ciddi bir yaklaşım gerektiriyor.

 
alrane :

Her aracı, günde toplamda 70 GB'den fazla olan 2-2.6 GB'lik tamamen yetersiz boyutlarda bir önbelleği hızla büyütür! Önbelleğin kendisi silinmez ve sürekli büyür. Bu çılgınlığı durduran tek şey disk alanının bitmesiydi. Ondan sonra ajanlar aptalca çalışmayı bırakırlar.

Bu tür ciltlerde önbelleğe almak ne mümkün?!
 
fxsaber :
Bu tür ciltlerde önbelleğe almak ne mümkün?!
Genellikle tüccarlar, kişisel olarak oluşturulan on gigabaytlık kapsamlı günlük olduğunu fark etmeden klasörün boyutuna bakmayı tercih ederler.

Veri önbellekleriyle, her şey yolunda. Ve onu diskte tutuyoruz ve tekrarlanan başlatmalar beklentisiyle bellekte saklıyoruz. Aynı ajan üzerinde yeniden hesaplamanın ne kadar hızlı olduğuna dikkat edin (etkiyi göstermek için bir ajan ve bir geçiş yapın).



Ve yine de - disklerle çok dikkatli çalışıyoruz. Büyük katlar halinde yazıyoruz ve ssd sürücülerin özelliklerini açıkça anlıyoruz.
 
Renat Fatkhullin :
Genellikle tüccarlar, kişisel olarak oluşturulan on gigabaytlık kapsamlı günlük olduğunu fark etmeden klasörün boyutuna bakmayı tercih ederler.
Her yerel temsilci için yaklaşık gigabayt NAKİT vardı. Hala orada bu kadar miktarlarda neyin saklanabileceğini anlamıyorum?
alran :
4 farklı test cihazını farklı fiziksel disklerde taşınabilir modda çalıştırarak sorunu kısmen çözdü. dahil ve RAM diski, çünkü test cihazı, büyük miktarda belleği gözetimsiz bırakır .

Bu arada , bir ramdisk üzerinde önbelleği olan bir aracının çalışması, performansı genellikle 3 kata kadar artırır ! Bu, bir kez daha testçinin çalışmasının iğrenç organizasyonunu gösterir.

Aracıların optimizasyon düzeyi "şaşırtıcı"ysa, neden bir RAM diski düzenlemek performansı birkaç kat artırır? Bence, tatsız olsa da mantıklı sorular.

Not Ajanların günlüklerini silecek bir tür programa ihtiyacımız var. Bu miktarlarda işe yaramazlar. Evet ve Yazdır + Uyarı , optimizasyonlar sırasında kodda kullanıcı tarafından devre dışı bırakılmalıdır.

 

fxsaber :
Речь шла о гигабайтах КЕША на каждый локальный агент. Мне до сих пор не понятно, что можно там хранить в таких количествах?

Ve forum ifadeleriyle çalışmak yerine kendinize bakıyorsunuz.

Aracıların optimizasyon düzeyi "şaşırtıcı"ysa, neden bir RAM diski düzenlemek performansı birkaç kat artırır? Bence, tatsız olsa da mantıklı sorular.

Çünkü önbellek için RAM'in %100'ünü yiyip süresiz olarak saklama hakkımız yok. Ancak, bir kişi kendisi 32-64 GB için bir RAM diski oluşturduysa, oraya aracıları aktardı ve diskle aktif olarak çalışmaya başladıysa, o zaman evet - zaman zaman disk işlemlerini hızlandırabilirsiniz.

Ancak disk işlemleridir ve "hemen her şeyde N kez" değil.

Test cihazının verilerle inanılmaz bir şekilde çalıştığı, onu sürekli olarak kullanan ve arka planda yeni çalıştırmaları bekleyen test cihazının ısıtılmış önbelleklerinden birçok fayda sağlayan herkes için açıktır. Genellikle deneyler, kodun sürekli olarak yeniden derlenmesiyle düzinelerce ve yüzlerce test cihazının başlatılmasıdır.

Not Ajanların günlüklerini silecek bir tür programa ihtiyacımız var. Bu miktarlarda işe yaramazlar. Evet ve Yazdır + Uyarı, optimizasyonlar sırasında kodda kullanıcı tarafından devre dışı bırakılmalıdır.

Test kullanıcısının günlükleri otomatik olarak silinir. Test cihazı kullanan herkes bunu bilir. Ve test cihazının artık kullanılmadığını fark eder etmez, test cihazının önbellekleri terminalin kendisi tarafından silinir.

Topikstarter'da bir konu başlatan "ne kadar?" ve birkaç asılsız iddiada bulundu. Toplanan verileri doğru bir şekilde sağlasaydı, soruların %50'si veri toplama aşamasında kaybolacaktı.