Мы запускаем облачный сервис MQL5 Cloud Network! - страница 92

 
Renat:

Мы применили новый синтетический тест производительности, который более сбалансирован и коррелирует с результатами публичных бенчмарков: http://www.cpubenchmark.net/high_end_cpus.html

Предыдущая версия была сильно заточена на математику, что давало сильный и необоснованный перекос в сторону современных процессоров. Новый вариант более сбалансированный и хорошо учитывает работу с памятью. Именно доступ к памяти является практически основным тормозом во всех практических задачах.

по моему перекос стал более корявым

два современных проц. 

i7-2600k  был pr=140 стал 160

а вот xeon  e7-4850 был pr=135 упал до 70

 

 
papaklass:

Прошел тест GA без нулей, но впечатление отсталось негативное.

1. Локальные агенты выполнили 43 задачи, облако - 133 задачи. Всего 176 выполнено задач, а проходов выполнено 1086. Парадокс.

Включите детальные логи из контекстного меню и посмотрите финальный отчет в логах про количество проходов.

Увидите, что большое количество повторяющихся проходов было извлечено из кеша. Генетика, да еще и на малом поисковом пространстве генерирует много повторяющихся генов. Именно поэтому может получиться 1000 цепочек, 80% из которых - повторы, которые не нужно пересчитывать.

Вообще запускать генетику при малых областях поиска неразумно - результат будет плохой.

2. Облако выполнило все свои задачи в первой эпохе и всю дальнейшую оптимизацию на ходилось в состоянии "finished". То есть все дальнейшие эпохи расчитывались на локальных ядрах. А их всего 4-ре.

Все верно.

По приложенной картинке четко видно, что распределение задач между клаудом и локальными агентами справедливое. Тем более, при таком мизерном количестве проходов. Клауд не будет гоняться за точной балансировкой 1-5-10 задач, его цель - ускорять сотни и тысячи проходов.

3. Время одного прохода на локальном ядре порядка 2 минуты. Время между эпохами соответствует этому времени, да и воочию я наблюдал. Заканчивается прогон на локальном ядре, в отчете появляется новая эпоха. То есть за один проход расчитывается одна эпоха. Не удивительно, что лучшие параметры находятся в расчете первой эпохи.

Создается впечатление, что это красивая картинка и не более. 

Вы сами поставили неправильную задачу с малой областью поиска, в которой генетика не нужна.

Поставьте область расчета в триллион вариантов (а не 1000 - 10000) и пройдитесь генетикой - будете поражены результатам. Так же рекомендую почитать статьи про генетику, иначе не будет понимания области применимости этого метода.

 
papaklass:

Сейчас идет оптимизация с 74 200 000 проходами. Опять столкнулся с медленными агентами.

 

500 проходов прошли быстро. И вот уже минут 20 все ядра находятся в режиме ожидания. Ждем когда медленные ядра (а их реально несколько штук)  закончат свои проходы. На картинке роздано задач 509, а выполнено 541. Я так понимаю, что какие-то агенты не справились со своими задачами и вместо них включились другие агенты. Почему нельзя прекратить выполнение задачи на медленных агентах и переложить выполнение задачи на агенты, которые уже выпонили свои задания. Ведь идет жуткая потеря времени. Сколько так сидеть и ждать?

Задачи с медленных агентов автоматически перераздаются более быстрым. Поэтому 541 исполненных задач при 509 исходных.

Какой билд Вы используете? Обновитесь до 567, подключившись к access.metatrader5.com, пожалуйста.

 

Что с временем (Активность в списке агентов) на сайте. Раньше, было по Москве, сейчас отстаёт на 3 часа.

PS. Во времени создания сообщений тоже... 

 

Сейчас решаем проблему с ожиданием медленных агентов на клауд серверах. Скоро будут результаты.

Используемое время сейчас GMT+1.

 
papaklass:

Положительные стороны:

1) облако возвращает значимые результаты за редким исключением. Вернула всего 5-ть нулей из 1342 проходов. В предыдущих билдах было намного хуже.

2) низкая стоимость оптимизации. За 1342 задачи, которые выполнило облако, сняли 49 центов ($0,49). Я считаю, что это не много.

3) сервис "Облачный сервис MQL5 Cloud Network" на данном этапе находится в рабочем состоянии, которое реально можно использовать для расчетов и платить за это деньги. Проверял весь день. 

Как сочетается 1) и 3)?

Я допускаю, что при использовании генетики потеря 0.3% результатов может быть несущественной, но если мне нужен полный перебор - как я могу сознательно отказываться от части результатов (возможно, лучших)?


Ну, и "можно использовать" с озвученной экономией (5 из 40 часов), как по мне, тоже не клеится.

Обычно такой процесс называется публичным бета-тестированием. Наверное, благодаря подаренным каждому $2, так и есть. Только табличку "Мы открылись!" рано вывесили...

 

После небольшого перерыва решил попробовать еще раз запустить агенты, результат разочаровал еще больше, за примерно 3 суток выполнено около 200 проходов общей длительностью 20 минут, 4 агента потеряли почему то ПР со 172-180 до 100, конфиг системы не менялся, абсолютно тоже самое и в закладке агенты, на сайте их почемуто было 8, а не 4. Вообще еще работать и работать и уменьшение ПР есть совсем не гуд, имхо не взлетит...

 
Bazz:

После небольшого перерыва решил попробовать еще раз запустить агенты, результат разочаровал еще больше, за примерно 3 суток выполнено около 200 проходов общей длительностью 20 минут, 4 агента потеряли почему то ПР со 172-180 до 100, конфиг системы не менялся, абсолютно тоже самое и в закладке агенты, на сайте их почемуто было 8, а не 4. Вообще еще работать и работать и уменьшение ПР есть совсем не гуд, имхо не взлетит...

Стало 8, а Вы случаем не удаляли агенты, если агенты удалить, а потом снова установить, то на странице агентов делаются новые записи (у самого такое было).

По поводу PR, писали выше, что в новом билде он считается по новому более правильно и адекватно, какой билд? обновились? 

 

Предложение к разработчикам: наверно было бы хорошо, если тестер был представлен еще и как автономна система для голого железа.

Величина PR сильно меняет от версии ОС и ее битности. А если полностью отказаться от Windows.

Хорошим примером будет гипервизор ESX, по сравнению с его собратьями типа XEN (образно), функционал шире, стабильность выше и т.д, и работает на голом железе, в отличие от того же XEN.

Тогда, думаю, и скорость облака могла бы немного подрасти, т.к. в случае автономного тестера не расходовались ресурсы на посторонние действия (рабочий стол, антивирус, файл подкачки и т.д.)

Я не говорю об отказе от существующего решения, а о дополнении его. 

И еще, Данный продукт был расчитан как серверный, а если у Вас VDS WEB сервер, к примеру, на Centos или RedHat, получется надо еще Windows ставить отдельно, к примеру на XEN, а на нее уже агенты лепить?

Понятно, что данное решение сложнее существующего, но на мой взгляд оно того стоит, хотя многие наверно оспорят это решение. 

 
papaklass:

PS: Картинки не вставляются.

А как вставляете картинки? Какой формат?


MQL5.community - Памятка пользователя
MQL5.community - Памятка пользователя
  • 2010.02.23
  • MetaQuotes Software Corp.
  • www.mql5.com
Вы недавно зарегистрировались и у вас возникли вопросы: Как вставить картинку в сообщение на форуме, как красиво оформить исходный код MQL5, где находятся ваши Личные сообщения? В этой статье мы подготовили для вас несколько практических советов, которые помогут быстрее освоиться на сайте MQL5.community и позволят в полной мере воспользоваться доступными функциональными возможностями.