Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 600

 
Ivan Negreshniy:
Поищите, но проблема в том, что в сети не очень много свежей, системной информации о работе с низкоуровневой структурой НС на уровне весов, т.к. наши исследователи редко опускаются даже до бэкэнда, типа TensorFlow, в основном все крутятся выше или на уровне Theano, Keras, Torch или неувядающего R.

Не нужно говорить глупости. TensorFlow, Theano, Torch и CNTK это и есть низкоуровневые библиотеки автоматического дифференцирования применяемые при обучении глубоких нейросетей. Над ними много надстроек, одна из наиболее распространенных - Keras. Просто для рядового пользователя(не эксперта по нейросетям) удобно (проще и быстрее) пользоваться высокоуровневыми. 

Мне интересно, а Вы какими библиотеками пользовались? Поделитесь результатами.  Или только слышали о них?

Удачи

 
Vladimir Perervenko:

Не нужно говорить глупости. TensorFlow, Theano, Torch и CNTK это и есть низкоуровневые библиотеки автоматического дифференцирования применяемые при обучении глубоких нейросетей. Над ними много надстроек, одна из наиболее распространенных - Keras. Просто для рядового пользователя(не эксперта по нейросетям) удобно (проще и быстрее) пользоваться высокоуровневыми. 

Мне интересно, а Вы какими библиотеками пользовались? Поделитесь результатами.  Или только слышали о них?

Удачи


Ну да, а что бы не говорить глупости нужно внимательнее читать.

Речь была о бэкэнд(back-end), надеюсь не нужно объяснять смысл, а фронтэнд(front-end) - это для работы в интерфейсе с пользователем т.е. более высокий уровень.

А по поводу интереса, Вы может слышали о графах TensorFlow, Protocol Buffers, генерации кода для различных платформ и языков, т.е. по существу низком уровне, так вот и я занимаюсь подобным, только для своей НС и языка MQL.

Вы наверное не слышали - Hlaiman EA Generator. 


Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория и практика (торговля и не только)

Aleksey Terentev, 2018.01.23 06:39

Да, у меня сложности. Мне трудно понять почему некоторым так тяжело поднять пятую точку и потрудиться.
Да, я тусуюсь в этой ветке и вмешиваюсь в чужие ответы, вместо того что бы конструктивно рассматривать вопросы.
__Давайте конструктивно по обсуждаем вопросы глубокого обучения? применения питона? обучению с учителем по хорошим сигналам?
__Мне вот не с кем пообсуждать. А Вы только что сказали что найти ничего не можете. Ну чтож, не судьба.
Да, я привожу лоховские нравоучения. Ведь оппонент сам применил завуалированную насмешку, перепутал термины и совершил пару логических ошибок.

А также я заранее попросил прощения, ведь писал в чувствах.

А также предлагаю Вам помощь в познании принципов работы инструментов для создания нейросетей. Без какой либо иронии и сарказма.


Надеюсь и Вам, из написанного выше, понятно в каком направлении мне м.б. интересна помочь.

Визуализация графов, топологий НС, сериализация, форматы ProtoBuf, пакетная обработка и импорт/экспорт n-мерных массивах NumPy весов НС и.т.д..

Если Вы располагаете такого рода информацией или опытом реализации, с удовольствием, готов пообсуждать.

 
Ivan Negreshniy:


Ну да, а что бы не говорить глупости нужно внимательнее читать.

Речь была о бэкэнд(back-end), надеюсь не нужно объяснять смысл, а фронтэнд(front-end) - это для работы в интерфейсе с пользователем т.е. более высокий уровень.

Не будем спорить о терминологии. Приведу выдержку:

"использование библиотеки "TensorFlow"

В последнее время бурно развивающаяся область глубоких нейросетей пополнилась рядом библиотек с открытым кодом. Широко рекламируемая TensorFlow(Google), CNTK(Microsoft), Apache MXNet и многие другие. Благодаря тому, что все эти и другие крупнейшие разработчики ПО входят в Консорциум R, для всех этих библиотек предоставляется АПИ к R. 

Все вышеперечисленные библиотеки очень низкоуровневые. Для начинающих изучать эту область трудно усваиваемые. Учитывая это команда Rstudio разработала пакет  keras  для R.

Keras - это высокоуровневое API нейронных сетей, разработан с упором на возможность быстрого экспериментирования. Способность идти от идеи к результату с наименьшей возможной задержкой - это ключ к проведению хороших исследований. Keras имеет следующие ключевые особенности:

  • Позволяет одинаково работать на CPU или на графическом процессоре.

    Дружественный API, который позволяет легко прототипировать модели глубокого обучения.

  • Встроенная поддержка сверточных сетей (для компьютерного зрения), рекурентных сетей (для обработки последовательности) и любой комбинации обоих.
  • Поддерживает произвольные сетевые архитектуры: модели с несколькими входами или несколькими выходами, совместное использование слоев, совместное использование моделей и т. д. Это означает, что Keras подходит для построения, по существу, любой модели глубокого обучения, от сети памяти до нейронной машины Тьюринга.
  • Он способен работать поверх нескольких back-end, включая TensorFlow, CNTK или Theano.

А по поводу интереса, Вы может слышали о графах TensorFlow, Protocol Buffers, генерации кода для различных платформ и языков, т.е. по существу низком уровне, так вот и я занимаюсь подобным, только для своей НС и языка MQL.

Не только слышал но и использую. Но с языком R для выполнения в МТ. Так что у нас разный подход и направление. Мои наработки Вам не будут полезны.

Вы наверное не слышали - Hlaiman EA Generator. 

Слышал, читал. Не тот путь по которому я хотел бы идти.

Надеюсь и Вам, из написанного выше, понятно в каком направлении мне м.б. интересна помочь.

Визуализация графов, топологий НС, сериализация, форматы ProtoBuf, пакетная обработка и импорт/экспорт n-мерных массивах NumPy весов НС и.т.д..

Если Вы располагаете такого рода информацией или опытом реализации, с удовольствием, готов пообсуждать.

Еще раз повторю. У нас разный подход и направление движения. Мои наработки Вам не будут полезны.

Удачи
 

Vladimir Perervenko:

Для начинающих изучать эту область трудно усваиваемые. Учитывая это команда Rstudio разработала пакет  keras  для R.

Удачи

Про Keras не понял. Только вчера читал, что это высокоуровневый прибабах к TensorFlow, и даже видел экземпл. Никакого R, только Питон.
 
Maxim Dmitrievsky:

интересно, нигде не видел описания таких тандемов.. надо будет поискать


Ещё в 2007 году строили комитеты из 3-5 стратегий и качество работы значительно улучшалось. Но проблема в комитете что как минимум две из трёх должны быть адекватными, тогда они вытащат комитет в больший плюс чем по отдельносчти. Если в комитете 2 модели переобучены. Труба дело. В лучшем случае не даст слится, что при таком расскладе даже и не плохо!!!!

 

Yuriy Asaulenko:

Vladimir Perervenko:

Для начинающих изучать эту область трудно усваиваемые. Учитывая это команда Rstudio разработала пакет  keras  для R.

Удачи

Про Keras не понял. Только вчера читал, что это высокоуровневый прибабах к TensorFlow, и даже видел экземпл. Никакого R, только Питон.


Человек даже ссылку дал, чтобы не заблудился, тщательно избегая R и даже в таких условиях сумел.

 
Yuriy Asaulenko:
Про Keras не понял. Только вчера читал, что это высокоуровневый прибабах к TensorFlow, и даже видел экземпл. Никакого R, только Питон.

Ну что здесь понимать. Все что есть в Python уже есть и в R.Пройдитесь по ссылкам, посмотрите.

Удачи

 
СанСаныч Фоменко:

Человек даже ссылку дал, чтобы не заблудился, тщательно избегая R и даже в таких условиях сумел.

Ссылку не видел.

Вот ссылка на Keras - https://habrahabr.ru/company/ods/blog/325432/

Не исключаю, что для R сделан интерфейс к Keras. Но не R придумал Keras. Т.е. не  команда Rstudio разработала пакет  keras  для R, а, скорее, интерфейс к Keras. И для пользователя это две большие разницы - пакет или интерфейс.

Вот это я и пытаюсь уточнить.

Библиотеки для глубокого обучения: Keras
Библиотеки для глубокого обучения: Keras
  • habrahabr.ru
Привет, Хабр! Мы уже говорили про Theano и Tensorflow (а также много про что еще), а сегодня сегодня пришло время поговорить про Keras. Изначально Keras вырос как удобная надстройка над Theano. Отсюда и его греческое имя — κέρας, что значит "рог" по-гречески, что, в свою очередь, является отсылкой к Одиссее Гомера. Хотя, с тех пор утекло много...
 
Yuriy Asaulenko:

Ссылку не видел.

Вот ссылка на Keras - https://habrahabr.ru/company/ods/blog/325432/


Это ссылка на Хабр. Ссылка на библиотеку https://keras.rstudio.com/index.html.

Читайте первоисточники.

Удачи

R Interface to 'Keras' • keras
R Interface to 'Keras' • keras
  • keras.rstudio.com
Keras is a high-level neural networks API developed with a focus on enabling fast experimentation. Being able to go from idea to result with the least possible delay is key to doing good research. Keras has the following key features: Allows the same code to run on CPU or on GPU, seamlessly. User-friendly API which makes it easy to quickly...
 
может есть че по стратегиям? гуглить и так все умеют :)
Mihail Marchukajtes:

Ещё в 2007 году строили комитеты из 3-5 стратегий и качество работы значительно улучшалось. Но проблема в комитете что как минимум две из трёх должны быть адекватными, тогда они вытащат комитет в больший плюс чем по отдельносчти. Если в комитете 2 модели переобучены. Труба дело. В лучшем случае не даст слится, что при таком расскладе даже и не плохо!!!!


ансамбли и комитеты это немного другое, нежели тандем, насколько я понял

к слову, ансамбль НС, того же MLP, очень хорош... но медленный

про комитет интересно, но спорно, тот же тернарный классификатор Решетова

с тандемами не связывался