Библиотека Roffild'a - страница 4

 
Roffild:

Эм... в MQL вообще нет столбцов. И MQL != SQL - это совсем разные языки.

Для знающих SQL проще отсеять лучшие проходы после оптимизации, когда их количество переваливает за 5000 проходов. Реализовано в TesterSql.mqh

Эм... ну как можно было такое подумать...

 

Скрипт для запуска Агентов тестирования на серверах Амазона aws_ubuntu_user_data.sh теперь учитывает Роль и внутренние диски.

https://roffild.com/ru/

 
Roffild:
Скрипт для запуска Агентов тестирования на серверах Амазона aws_ubuntu_user_data.sh теперь учитывает Роль и внутренние диски.

Чью роль? Как понимать "внутренние диски"?

 
Aleksey Vyazmikin:
Есть "Запись данных в файл формата MySQL", а почему нет чтения из этого формата?
Для МТ более актуальна SQLite. Гигабайты редко нужны, а с мегабайтами SQLite успешно справится. И подключается к MQL просто и без затей.
Имхо.
 
Roffild:

По вопросам "что такое Java, Spark, Alglib, случайный лес и нейронные сети?  И как с этим жить?" - в Гугл

Alglib - однопоточный

Spark - много компов

Цель библиотеки - использование Spark (а в будущем TensorFlow и MXNet) без костылей в MQL

Mickey Moose:
какие задачи решаются с помощью этого продукта?

1) SQL - стоит денег. Windows для SQL стоит денег. Сервера Amazon/Google стоят денег. Стоимость года использования с лицензиями? два месяца серверов google с его бонуса - 300$, это 5-6 серверов(на бонусе время жизни серверов на майнинге до бана от суток до пары недель). Т.е. в год, где-то 1,5-2k$ безвозвратно "улетят" в амазон/гуугл.

2) Навороченный ноутбук с 6и ядерным xeon и nvidia quadro 5k$ (к базовой конфигурации добавить раид на m2). MQL - бесплатно для конечного пользователя. Встроенная субд из hst файлов - бесплатно(в OHLCV можно писать все что душе угодно, а доступ к данным как к тайм серии - т.е. затрат интеллекта ноль). Из плюсов мобильность. Вычислительной мощности достаточно.

3) Однопроцессорный miniitx xeon + windows(лицензия) + одна/две мощных видеокарт ATI + мониторов + упс. 5k$ . MQL - бесплатно для конечного пользователя. Встроенная субд из hst файлов - бесплатно(в OHLCV можно писать все что душе угодно, а доступ к данным как к тайм серии - т.е. затрат интеллекта ноль). Плюсы - можно сделать конфигурацию по собственному феншую. Минус, отсутствие  мобильности. Вычислительной мощности овердохрена.

Скорости opencl (видеокарты) вне конкуренции по стоимости и вычислительной мощности в сравнении с "много компов".

Решаемая задача должна отбивать безвозвратные затраты из 1), при этом надо очень хорошо знать фронт/бэк java , sql и кучу других навыков для больших данных сразу из головы - с таким багажом знаний на наемную работу с з/п в буржуйском банке гдето минимум от 100k$, а гугль наверно еще больше давать будет + доступ к вычислительным ресурсам.

Имхо, потренироваться на кошках и прокачать скил для трудоустройства на хорошую позицию.

Распределенные вычисления в сети MQL5 Cloud Network
Распределенные вычисления в сети MQL5 Cloud Network
  • cloud.mql5.com
Большую часть времени современные компьютеры простаивают и не используют всех возможностей процессора. Мы предлагаем задействовать их с пользой. Вы можете сдавать мощности вашего компьютера другим участникам нашей сети для выполнения разнообразных...
 
Roffild:

Библиотека Roffild’a

Я известен сообществу программистов на MQL5 по ником Roffild и это моя библиотека с открытым кодом для MQL5. Попытка реализовать возможности на MQL5, которые уже давно стали стандартом для популярных языков программирования. В каждом файле реализована одна идея. Библиотека пополняется по мере необходимости в новых возможностях.

Мало кто пытался выложить проект в Github. Единого стандарта нет. MetaQuotes не учитывают использование системы контроля версий при создании проекта. Почему-то программисты из MetaQuotes считают, что проект должен быть одного типа. Для мелких проектов, которые публикуются в CodeBase на сайте MQL5.com, такое разделение обосновано. Для средних и крупных проектов невозможно выбрать один тип проекта.

Даже включил комп для ответа, при оч ограниченном инет трафике.)) С мобилы писать некомфортно.

При всем моем уважениии к деятельности Roffild, и не сочтите за наезды, я читаю, но не понимаю. А на фига? [(с)А.Вознесенский.]

1. Я бы понял, человек для себя портировал несколько библиотек в MQL, и решил их выложить в свободный доступ. Все понятно, и нормально. Почему нет. Но здесь явный излишек - Roffild портирует все и вся.

2. Маркетолог задал бы вопрос - целевая аудитория? 

- Начинающие и продолжающие в MQL-то толком не разбираются, им ДЛЛ подключить - проблема. Вы полагаете они в SQL или вашей документации разберутся?

- Опытные программисты MQL - возможно что-то и применят. Оч. ограниченно.

- Программисты вообще (С++ и пр) - им проще в документации к исходной библиотеке разобраться, и подключить конкретно то, что им нужно.

Итого: по маркетингу имеем несколько применений нескольких библиотек из всего набора. Ради этого весь сыр-бор?

3. Все (или почти все) библиотеки уже портированы в тот-же Python. Не проще-ли сделать всего один порт к работающему приложению Питон, и, спокойно и неторопясь, сразу пользоваться всеми библиотеками. Тем более, что все порты библиотек к Питону хорошо проверены и документированы. В дополнение: Питон - язык сценариев, и его доля времени в исполнении библиотек минимальна. На быстродействие не повлияет. Учтем еще, что в Питон есть полноценные потоки, а многие порты к MQL просто виснут без этого, и развисают, когда поезд уже ушел..

Думаю, в этом случае, опытные прграммисты вас поймут. А доля применений всего одного порта к Питон будет больше, чем всех ваших библиотек суммарно.


Вообще-то, есть еще "но" к вашему проекту, но уже это при оказии.

С Уважением.

 
unicornis:

1) SQL - стоит денег. Windows для SQL стоит денег. Сервера Amazon/Google стоят денег. Стоимость года использования с лицензиями? два месяца серверов google с его бонуса - 300$, это 5-6 серверов(на бонусе время жизни серверов на майнинге до бана от суток до пары недель). Т.е. в год, где-то 1,5-2k$ безвозвратно "улетят" в амазон/гуугл.

2) Навороченный ноутбук с 6и ядерным xeon и nvidia quadro 5k$ (к базовой конфигурации добавить раид на m2). MQL - бесплатно для конечного пользователя. Встроенная субд из hst файлов - бесплатно(в OHLCV можно писать все что душе угодно, а доступ к данным как к тайм серии - т.е. затрат интеллекта ноль). Из плюсов мобильность. Вычислительной мощности достаточно.

3) Однопроцессорный miniitx xeon + windows(лицензия) + одна/две мощных видеокарт ATI + мониторов + упс. 5k$ . MQL - бесплатно для конечного пользователя. Встроенная субд из hst файлов - бесплатно(в OHLCV можно писать все что душе угодно, а доступ к данным как к тайм серии - т.е. затрат интеллекта ноль). Плюсы - можно сделать конфигурацию по собственному феншую. Минус, отсутствие  мобильности. Вычислительной мощности овердохрена.

Скорости opencl (видеокарты) вне конкуренции по стоимости и вычислительной мощности в сравнении с "много компов".

Решаемая задача должна отбивать безвозвратные затраты из 1), при этом надо очень хорошо знать фронт/бэк java , sql и кучу других навыков для больших данных сразу из головы - с таким багажом знаний на наемную работу с з/п в буржуйском банке гдето минимум от 100k$, а гугль наверно еще больше давать будет + доступ к вычислительным ресурсам.

Имхо, потренироваться на кошках и прокачать скил для трудоустройства на хорошую позицию.

 MySQL и SQLLite или т.п. БЕСПЛАТНО. Сервера можно арендовать почасовому тарифу. Нафига на целый год? У меня в год улетит только до $200.

OpenCL тоже нужно уметь готовить. Из-за большой задержки пересылки данных на видеокарту использование OpenCL становится невыгодным.

Когда разберётесь во всём этом, только потом сможете реально оценить затраты.

 

Yuriy Asaulenko:

3. Все (или почти все) библиотеки уже портированы в тот-же Python. Не проще-ли сделать всего один порт к работающему приложению Питон, и, спокойно и неторопясь, сразу пользоваться всеми библиотеками. Тем более, что все порты библиотек к Питону хорошо проверены и документированы. В дополнение: Питон - язык сценариев, и его доля времени в исполнении библиотек минимальна. На быстродействие не повлияет. Учтем еще, что в Питон есть полноценные потоки, а многие порты к MQL просто виснут без этого, и развисают, когда поезд уже ушел..

Любую стороннюю разработку почти невозможно использовать в Агентах тестирования. При попытках интеграции с внешними разработками приходится жертвовать скоростью, переносимостью и оптимизацией. Зачем?

Есть шутка среди пользователей Линукса: "Поставить Linux, поставить Wine, чтобы запустить Косынку"

Да и сам Питон - тот ещё тормоз.

Питон можно использовать для выявления патентов модели. Когда модель будет найдена, то лучше её портировать на MQL5, чтобы протестировать в облаке Агентов.

Моя библиотека не зависит от сторонних DLL'ок, поэтому может использоваться в коде любого Эксперта, Индикатора и т.д.

Python — это медленно. Почему?
Python — это медленно. Почему?
  • 2001.08.18
  • habr.com
В последнее время можно наблюдать рост популярности языка программирования Python. Он используется в DevOps, в анализе данных, в веб-разработке, в сфере безопасности и в других областях. Но вот скорость… Здесь этому языку похвастаться нечем. Автор материала, перевод которого мы сегодня публикуем, решил выяснить причины медлительности Python и...
 
Roffild:

Любую стороннюю разработку почти невозможно использовать в Агентах тестирования. При попытках интеграции с внешними разработками приходится жертвовать скоростью, переносимостью и оптимизацией. Зачем?

Есть шутка среди пользователей Линукса: "Поставить Linux, поставить Wine, чтобы запустить Косынку"

Да и сам Питон - тот ещё тормоз.

Питон можно использовать для выявления патентов модели. Когда модель будет найдена, то лучше её портировать на MQL5, чтобы протестировать в облаке Агентов.

Моя библиотека не зависит от сторонних DLL'ок, поэтому может использоваться в коде любого Эксперта, Индикатора и т.д.

Вопрос о скорости питона и его сравнения с С++, шарпом и пр. вообще не стоит. Вопрос стоит - достаточна ли его скорость для решения конкретных задач. Я полагаю, что для подавляющего большинства задач, даже более чем достаточна. Даже для так называемого скальпинга.)

Вы полагаете, что неиспользование сторонних ДЛЛ - благо. Я полагаю, что это скорее сектантство, и, главное, большой объем лишней, и никому не нужной работы. Все библиотеки уже сделаны до нас, и остается только их использовать, с минимальными затратами времени и сил. И это, кстати, часть парадигмы современного программирования. И, в общем, не в Питоне дело. Он только как пример среды с множеством библиотек.

Отказ от ДЛЛ, использования стороннего ПО и прочих достижений оправдан единственно для продажи в Маркете - таковы уж условия.) Других резонов просто не существует.

 
Roffild:

 MySQL и SQLLite или т.п. БЕСПЛАТНО. Сервера можно арендовать почасовому тарифу. Нафига на целый год? У меня в год улетит только до $200.

OpenCL тоже нужно уметь готовить. Из-за большой задержки пересылки данных на видеокарту использование OpenCL становится невыгодным.

Когда разберётесь во всём этом, только потом сможете реально оценить затраты.

- "Бесплатно"  https://shop.oracle.com/apex/f?p=DSTORE:2:::NO:RIR,RP,2:PROD_HIER_ID:58095029061520477171389 - значит стоимость Ваших персональных знаний(а не оптом от оракла) раза в три выше . Нафига на 200$ городить огород с подразумеваемым существенным объемом административных знаний???? Если у Вас затрат 200$ на гугль, значит все тоже самое Вы можете сделать за пару выходных на своем буке/компе. Приведенный пример с 300$, о том что система с локальным xeon`ом производительней кучки vps. Чтобы быстро решить задачу/проект надо пару лет потренироваться на аналогичных задачах с разгребанием нежданчиков и косяков с переделыванием с нуля. Порог входа в Вашу идеологическую схему далеко не бесплатно.

- Приготовление OpenCL в MQL менее интеллектуально затратно чем проф. уровень в xSQL(вообще субд). Собранная коллекция кодов(не идеальных) в codebase MQL и среда разработки MQL достаточны и бесплатны(в т.ч. сервисдеск) для быстрого самообразования, плюс оно сразу показывает на экране результат без возни с окнами, если знаете аналоги(бесплатная среда разработки + примеры кодов очень много в одном месте) приведите. Готовое облако MQL дешевле затей vps/много компов. Пока что варианты от MQL по цена-производительность вне конкуренции (при том что есть где ядом поистекать над MQL).

Т.е. Вы утверждаете, что пересылка данных в видеокарту для OpenCL имеет большую задержку чем издержки стэка tcpip с  задержкой сети до vps????? (Какие вещества употребляете?отсыпьте;))))

- В чем именно разбираться? Дешевая видеокарта(например, не дорогая ati radeon 580 8ГБ - 300$) выгоднее vps, старый xeon почти выгодней видеокарты. Видеокарты и к ноутбукам лепят. С трудом представляю, точнее не представляю, себе вычислительную задачу, в рамках таймсерий MQL на которую потребуется потратить больше чем ресурсы локального бука/компа/облака MQL. Cтарье 64ГБ ecc + 2 xeon - 300$ + БП|монитор|клавиатурамышь (еще 100$), всю ось с потрохами в рамдиск - да хоть на бейсике пишите локально обработку данных, будет быстрее затеи vps+sql и т.д.