Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 255

 
mytarmailS:

1. почему вы нормализируете вручную? есть же scale()

2. почему по корреляции -1 и 1 хорошо?  только если 1 это хорошо -1 это очень плохо,  если я правильно понимаю мысль , -1 это же обратная корреляция  

3. а не пробовали ли вы в скользящем окне мониторить ошибку обученой модели и если она не устраивает переобучать модель и смотреть что будет

4. и глобальная мысль, почему все так плохо работает, рынок не стационарен, нужно вырабатывать какую то другую концепцию по формированию признаков, может полностью переходить в парадигму логических правил, те мне кажется нужно уходить от чисел практически совсем, или изучать спектральный анализ))))) 

1) я так и не смог в scale(), он шкалирует и центрует непойми куда. В идеале для предобработки лучше использовать пакет caret, он всё красиво шкалирует/центрует, но использовать ещё один пакет было бы слишком громоздко для такого простого примера

2) корреляция около нуля означает её отсутсвие, это самый плохой вариант. Прибыль на тесте в таком случае вообще ничего не говорит о потенциальной прибыли на новых данных.
-1 - это когда высокая точность на тренировке даст стабильно плохой результат на новых данных. Но при этом - низкий результат на тренировке будет означать результат на новых данных получше :) Такое может получится если модель очень легко подгоняется под данные и переобучается, а с низким результатом на тренировке она просто не успевает запомнить данные, и каким-то чудом потом торгует в плюс. Например точность на тренировочных данных может колебаться от 0.9 до 1, и в таком случае 0.9 будет "низким", а при этом точность на новых данных будет колебаться от 0.5 до 0.6, где 0.6 будет "высоким" результатом. Т.е. модель у которой результат похуже - не переобучена, и имеет обобщающую логику получше, и в итоге результат на новых данных тоже получше.
Хоть это всё и красиво на словах, но реально я никогда не видел стабильной отрицательной корреляции. Удобней и легче идти в сторону +1.

3) пока я пойму что модель меня не устраивает - пройдёт какое-то время за которое она мне сольёт столько что потом нормальная модель не отработает. Можно торговать новыми моделями сначала на демо счёте - но к моменту когда модель покажет прибыльность и я поставлю её торговать на реал - она уже устареет наверно. Не пробовал. Я лучше заранее проверю что весь алгоритм обучения рабочий и даёт стабильно прибыльные модели, и поставлю торговать на реал то чему доверяю.
Если алгоритм обучения моделей годен - то дообучать старую рабочую модель новыми данными это вполне хорошо, это быстрее чем создавать модели каждый раз с нуля.

4) feature engineering это хорошо. Я например индикаторы из mt5 использую, а не голую цену.

 
Dr.Trader:
И с какой точностью ваша хорошая модель прогнозирует цвет след свечи на новых данных в реальных условиях? Вы же на дневках торгуете верно? 
 
mytarmailS:
И с какой точностью ваша хорошая модель прогнозирует цвет след свечи на новых данных в реальных условиях? Вы же на дневках торгуете верно? 

У меня H1, цель - цвет следующей свечи. Точность прогноза всего 55%-60%, но этого достаточно. Даже в тренде цена не идёт всегда вверх, а постоянно дёргается вверх-вниз на следующих барах, так что эти дёргания заметно портят точность. Главное чтобы модель сама не дёргалась, а раз уж вошла в сделку - то сидела бы в ней до конца тренда.

 
Dr.Trader:

постоянно дёргается вверх-вниз на следующих барах, так что эти дёргания заметно портят точность. Главное чтобы модель сама не дёргалась, а раз уж вошла в сделку - то сидела бы в ней до конца тренда.

Может как то сгладить целевую?
 
mytarmailS:

То чувство когда начинаешь думать что понимаешь рынок...

то чувство когда наступает очередной облом ((    :)
 

очень интересное видео.... про отбор признаков, про алгоритмы и даже немножко про рынки 

https://www.youtube.com/watch?v=R3CMqrrIWOk 

 
mytarmailS:

очень интересное видео.... про отбор признаков, про алгоритмы и даже немножко про рынки 

https://www.youtube.com/watch?v=R3CMqrrIWOk 

Действительно интересно. Жаль что конкретно про рынки совсем немножко, нечто вроде "Если я начну предсказывать цену на нефть, то меня наверное убьют" :) (цитата неточная, писал по памяти)

Первых полчаса видео - тут Алексей в теме про это писал. Даже код на R был приложен. Я сейчас не нашёл, нужно первые десятки страниц листать, плюс там в сообщении была ссылка на хабр на его статью про это.
Мне этот метод отбора предикторов для форекса к сожалению не помог, все мои предикторы были слишком малоинформативны, мне кажется этот алгоритм подходит для более стационарных данных. Или нужно больше новых предикторов.

 

Господа, соизволите кто нибудь пример нейросети работающий на входе с массивами например м1[1000,1000] м2[1000,1000] и т.д. Извиняюсь за тупость если что. 

Я еще с нейронкой не работал, хочу попрактиковаться. не очень понимаю, как задаются параметры. буду очень признателен.

возможно кто то рассматривал метод предиктор корректор

 
Top2n:

на входе с массивами например м1[1000,1000] м2[1000,1000] и т.д.

Вы хотите подать в сеть два массива, в каждом по 1000 обучающих примеров, и 1000 входов для сети? Так не получится, их нужно будет объеденить в один. Или вы о чём-то другом?
 
Dr.Trader:
Вы хотите подать в сеть два массива, в каждом по 1000 обучающих примеров, и 1000 входов для сети? Так не получится, их нужно будет объеденить в один. Или вы о чём-то другом?

Каждый массив[][] это набор однокачественной информации, то есть на каждый вход, отдельный массив[][]. Я хочу много массивов подать, готова пока 4, еще в планах создам, каждый массив описывает состояние цены, получается с разных ракурсов, как то так.

каждый массив содержит 1000 строк и 1000 столбцов, ну вообще у меня трех мерный, получается что К-ое измерение это новый двух мерный