Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1873

 
Rorschach:
Кто нибудь сетями занимается, как вы подбираете соотношение количества эпох, размера батча и ленинг рейт?

Какой интересный вопрос Вы задали! Зацените как это делаю я. Напомню, что в оптимизаторе Решетова реализован метод опорных векторов, определяющих направление вектора к гиперплоскости которая делит два класса между собой. И как известно данные метод является самым трудо затратным, это Вам не метод градиентного спуска для поиска обратного распространения ошибки. Тут немного другое , ту скорее поиск перпендикулярной плоскости между двумя разными признакам при этом учесть максимальное расстояние от двух этих классов что бы эта плоскость была перпендикулоярна им обоим. В общем на каждом векторе происходит такая жуть, мама не горюй. Вы же понимаете что при изменении следующего вектора предыдущая плоскость смещается и в течении одной эпохи происходит такой поиск который всех плоскостей делящий близ лежащие разные класса, что мама не горюй. Так вот у меня количество эпох меняется динамически. Не великая такая уж и возможно открылась. И логика изменения зависит от количества подаваемых входов на полином. С каждым новым входом поиск возрастает геометрически. В итоге при 11 входах у меня примерно 800 эпох, при 5 примерно 3000 хотел бы я написать но тут понял. Я давно не загружал яву, а в свете последних событий, когда меня откровенно накуй послали из за того что я не знал что такое RSME и видели те этим прикрылись, да ведь mytarmailS да ведь???? Так вот я не лошара. Вы с начала одуплитесь в чём я работаю, что бы говорить подобные обвыинения :-) Шучу, так то я добрый когда :-)))))))))))))))))))!!!!!!!!!

Так вот точные данные <7=1600 эпох, >=12 эпох 30 будет. Я понимаю что люто сейчас проигрываю в мощностях, но ахилесова пята метода. Нужно не только количество ядер, но и их частота. Разве это не адекватно по сравнению с другими методами. Я просто не понимаю.... Найти метод легкий для ЭВМ это заведома ограничить себя как минимум... Исключительно ИМХО!!!!! И данные которые я привёл это для 32 ядер с максимальной частотой..... Арендую тут по случаю в майле. Крайне рекомендую.... Удобная штука, не реклама чисто очарован :-)

И да, mytarmails, я не зря тебя упомянул в этом посте, потому как я разобрался в предложенной Вами оценки и нашёл её крайне интерссной. Я задал себе вопрос, какова будет эта оценка полученных мною моделей при условии что я не буду использовать её в процесса оптимизации, а просто смотреть какая она. Есть такое ощущение что самая лучшая модель та, которая показала одинаковый результат оптимизации (в соответствии с условиями обучения), но при этом имеет худшую оценку RMSE. Что скажете? Понятно или повторить???? Вот и не пи... дите, давно хотел Вам сказать. Случая не было, вот подвернулся :-)))))))

Там просто нужно график рисовать чтоб понятно было, но обламывает. Не грузи....

mytarmailS
mytarmailS
  • www.mql5.com
Профиль трейдера
 

Не могу никак отловить баг с пропусками котировок )

допустим, есть датафрейм с дэйттайм индексами, пятиминутки. Сгруппирован по 2-м часам. 2-й час идет за первым, затем 2-й час след. дня за 1-м часом след. дня.

Нужно в цикле определить, где был пропуск какой-то пятиминутки или целого часа и дропнуть пару часов, если хотя бы в одном из них пропуск. По типу dropna или fillna (на ближайшие значения). Но там нет NA

 
Mihail Marchukajtes:

У тя с головой проблемы ))

Maxim Dmitrievsky:

Слушай , мне вообще кажется что профит там не в кластерах вообще, а в самом представлении информации, есть подозрение что нужно представлять информацию МО в виде свечей большего ТФ, те например час представлять 5ти минутками от открытия часа по его закрытие, а прогнозировать след. час, и мне кажется что будет не хуже , а то и лучше чем возиться с кластерами , но это так, чисто гипотеза .

 
mytarmailS:

Слушай , мне вообще кажется что профит там не в кластерах вообще, а в самом представлении информации, есть подозрение что нужно представлять информацию МО в виде свечей большего ТФ, те например час представлять 5ти минутками от открытия часа по его закрытие, а прогнозировать след. час, и мне кажется что будет не хуже , а то и лучше чем возиться с кластерами , но это так, чисто гипотеза .

хоть как, без разницы

но часы или минутки где-то пропускает, я за№%?ся искать где именно. В основном стык часов не совпадает

можешь на моем файле просто построить кучу кривулек как делал до этого и посмотреть? можно без кластеров

5 и 6 часы возьми.

У меня получается такая лабуда, при переходе от 5 к 6 часу резкие скачки иногда, примерно одинакового размера. Вряд ли это реальные переходы, скорее всего где-то пропуск часа и смещение по дням. Из-за этого кластеризация может работать криво.


Файлы:
quotes.zip  286 kb
 
Maxim Dmitrievsky:

хоть как, без разницы

но часы или минутки где-то пропускает, я за№%?ся искать где именно. В основном стык часов не совпадает

можешь на моем файле просто построить кучу кривулек как делал до этого и посмотреть? можно без кластеров

5 и 6 часы возьми.

У меня получается такая лабуда, при переходе от 5 к 6 часу резкие скачки иногда, примерно одинакового размера. Вряд ли это реальные переходы, скорее всего где-то пропуск часа и смещение по дням. Из-за этого кластеризация может работать криво.


 попробую

-------------

Что это за ухня???

Так должно быть??


 
mytarmailS:

У тя с головой проблемы ))


Та не, просто не люблю когда в меня какашками кидают....

 

кто хочет поупражняться? Верхний график вход, третий выход. 2 и 4 тестовые. Некоторые пояснения, 1 график приращения, 3 график сигнал на покупку некоторой "классической" системы. Кстати, вопрос на засыпку, нс способна эмулировать лигические и с памятью индикаторы, что-нибудь вроде зигзага и индикатора максимума/минимума?


 
mytarmailS:

 попробую

-------------

Что это за ухня???

Так должно быть??


там сепаратор запятая

 
Maxim Dmitrievsky:

там сепаратор запятая

первая сотня

вторая сотня

ничего аномального не вижу


делал такую вырезку с 5 часа по 6 час


 
mytarmailS:

первая сотня

вторая сотня

ничего аномального не вижу


делал такую вырезку с 5 часа по 6 час


а посмотри кривульки за 2 часа сразу

между часами перекос получается у меня

или там и есть 24 значения в каждой?