Metatester 5 agent manager strategy tester не видит потоки процессора. - страница 2

 
Renat Fatkhullin:

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Сейчас в клауде гоняют очень затратные задачи и у подавляющего большинства участников клауда банально не хватает памяти при множестве агентов. Например, по 2 гб на агента и 16 агентов уже минимум требуют 32 гб памяти, хотя обычно в наличии 8-16 гб.

В результате множество проходов фейлятся, впустую нагружая сеть и агентов. Но самое важное, тормозят обсчет из-за ожиданий результатов и рестарт задач.

Мы давно уже оцениваем приблизительную ресурсную достаточность агентов перед выдачей им задач и одно из самых действенных - работать только на физических ядрах в клауде.

Локально вы можете использовать все ядра так как легко можете управлять их отключением. 

Было бы здорово если при добавлении агентов в "менеджере агентов", программа проверяла коэффициент (сумма ОП ÷ Количество ядер с потоками).

Если допустим коэф. ≤ 2, то учитываются только физические ядра, соответственно если ≥ 2, то учёт вместе с потоками.

 
Renat Fatkhullin:

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.


Хочу так сказать, если программа не видит логические процессоры, то общая нагрузка при вычислениях составляет 50%. Самое интересное если сервер имеет более 2 процессоров, то программа видит логические ядра и сервер при вычислениях загружен на 100%.

Было бы правильно, если программа определяла PR ядра процессора (больше 100) + количество оперативной памяти ПК (2 Гб на агент) и уже определяла брать логические процессоры в работу или нет. Если с облаком озабоченность еще понятна, то хотя бы иметь возможность использования логических процессоров в локальных сетевых вычислениях.

А так ресурсов достаточно, но используются они только на половину.

 

Добрый день участникам этой беседы

Не смог правильно настроить локальную сеть для тестирования из нескольких многоядерных процессоров, тк тестер как бы видит свободные ядра, но не может раздать задачи для них

 

Подскажите, где можно погрузиться в мануал по поводу создания локальной сети для тестирования с применением всех ядер, а не только физических как это сейчас сделано через Cloud 

Это сейчас не работает в локальной сети?


Спасибо

 
Dmitry Terzeman # :

I want to say this, if the program does not see logical processors, then the total load during calculations is 50%. The most interesting thing is that if the server has more than 2 processors, then the program sees the logical cores and the server is 100% loaded during calculations.

It would be correct if the program determined the PR of the processor core (more than 100) + the amount of PC RAM (2 GB per agent) and already determined whether to use logical processors or not. If the concern with the cloud is still clear, then at least be able to use logical processors in local network computing.

As it is, there are enough resources, but only half of them are used.

I would agree.

At least provide us as the users an option to enable multi-threading. 

So by default, only limit the agents to the physical cores, however allow the users to enable multiple threads per core an a tick box. 

Unfortunately we are leaving compute resources on the table by not being able to use that extra compute. 

 

1.Многопоток тебе не чем не поможет, на ядро идет всреднем 4гига оперативки, примитивня логика - ты включил два потока, оперативка добавилась ?


2. Какие поколения процессоров уже не могут участвовать ? По наблюдениям Xeon L5420 даже устанку агентов в облаке не проходит. А  i5-6300U нормально майтит.