Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 944

 
Aleksey Vyazmikin:

Вчера ещё сделал набор за 2017 год - там так же в пределах 30% правильных данных, но, что меня удивляет на разных (разделил на две группы предикторы) наборах предикторов получаю схожий результат. Я вот думаю, это случайность, или как раз возможность для использование леса?

На точность смотреть ненадо, это плохая метрика, особенно при множестве классов. Допустим в том случае где я обучал последнее дерево - 50% всех примеров это класс "0". Дерево может вообще всегда возвращать "0", и уже будет право в 50% случаев (вместо 33% по рандому), результат вроде и лучше рандома, но очевидно что дерево бесполезно. 
Лучше такая метрика например - https://en.wikipedia.org/wiki/Cohen's_kappa 


Aleksey Vyazmikin:

Слияние лучше делать из последнего приложенного мной файла - там разделение чуть точней 0 - всё что не принесло прибыль, а в более ранних файлах 0 - это и то что принесло очень маленькую прибыль.

Лучше сделайте сами.. Там два таргета, в каждом по куче классов, не хочу запутаться.
Мне нужен один таргет с 3 классами -
"-1" для входа в шорт
"1" для входа в лонг
"0" если и лонг и шорт оба будут в минус (или оба в плюс, если такое вообще бывает)
Такое дерево и обучить проще чем 4 как раньше. И торговать по нему проще.


Aleksey Vyazmikin:

Однако меня то удивило, что за счет увеличения целевых классификация отрабатывает лучше вне выборки обучения. Может наоборот, следует увеличить число разных классификаций?

Это надо многократно проверять, если подтвердится то круто. Возможно что дерево научится хорошо определять конкретные классы, например прибыль минимум 100 пунктов, или подобное. Потом можно будет делать новые таргеты с именно такой логикой для реала.
Например можно сделать десяток классов - "0" если будет проигрыш в любом случае, "1" если прибыль в лонг от 0 до 100 пунктов. "2" если прибыль в лонг от 100 до 200 пунктов. "-1" если прибыль в шорт от 0 до 100 пунктов. "-2" если прибыль в шорт от 100 до 200 пунктов. Итд. Потом по сводной таблице правильных и неправильных ответов можно будет увидеть если какой-то класс будет предсказываться явно лучше остальных.
п.с. никогда не занимался сам таким. Возможно несу бред. Но если вам пошло с деревьями, и множеством классов, то такой тест - вполне логичное продолжение эксперимента.

 
Aleksey Vyazmikin:

PS Могу дать доступ к ноутбуку по TW, что б Вы не нагружали свой ПК.

Сейчас не надо, у меня там каша в нескольких R скриптах, пробую разные методики подбора параметров. Если что-то в итоге подойдёт, и результат будет лучше чем в вашей программе - скрипт сюда приатачу, сможете дальше сами экспериментировать.

 
Maxim Dmitrievsky:

не понимаете смысла короче, не тот уровень абстракций, проехали )

Да при чём тут уровень, тут вопрос как раз в предмете. Закономерность - это одинаковая реакция на внешний фактор (раздражитель), в нашем случае, к примеру, если цена прошла X пунктов вверх, то вероятность, что скоро начнётся коррекция больше, чем не начнётся. Или, каждых 5 бычьих свечей подряд малого размера свидетельствуют о большой вероятности появлении большой медвежий свечи, которая перекроет минимум 3 из бычьих свечей. Вот если вероятность этих событий меняется, то это для меня смена закономерностей, и тогда ТС перестаёт работать.

А у Вас виденье иное?

 
Aleksey Vyazmikin:

А у Вас виденье иное?

я описал уже свое видение лол

причем это не просто видение, а реальность. Принимать ее или нет дело каждого

уровень абстракций - не палка палка огуречек, а почему на рынке меняются закономерности и с какой периодичностью, причины и следствия. Надоело повторять

 
Dr. Trader:

На точность смотреть ненадо, это плохая метрика, особенно при множестве классов. Допустим в том случае где я обучал последнее дерево - 50% всех примеров это класс "0". Дерево может вообще всегда возвращать "0", и уже будет право в 50% случаев (вместо 33% по рандому), результат вроде и лучше рандома, но очевидно что дерево бесполезно. 
Лучше такая метрика например - https://en.wikipedia.org/wiki/Cohen's_kappa 

Попозже вытащу все правила с двух моделей и посмотрю, какой там результат, если сложить две модели. Сейчас поставил ради интереса сеть на обучение, может что наковыряет, но уже ковыряет 12 часов - это вообще нормально для сетей?

Dr. Trader:

Лучше сделайте сами.. Там два таргета, в каждом по куче классов, не хочу запутаться.

Мне нужен один таргет с 3 классами -
"-1" для входа в шорт
"1" для входа в лонг
"0" если и лонг и шорт оба будут в минус (или оба в плюс, если такое вообще бывает)
Такое дерево и обучить проще чем 4 как раньше. И торговать по нему проще.

Хорошо, скоро сделаю и тут выложу.


Dr. Trader:

Это надо многократно проверять, если подтвердится то круто. Возможно что дерево научится хорошо определять конкретные классы, например прибыль минимум 100 пунктов, или подобное. Потом можно будет делать новые таргеты с именно такой логикой для реала.

Например можно сделать десяток классов - "0" если будет проигрыш в любом случае, "1" если прибыль в лонг от 0 до 100 пунктов. "2" если прибыль в лонг от 100 до 200 пунктов. "-1" если прибыль в шорт от 0 до 100 пунктов. "-2" если прибыль в шорт от 100 до 200 пунктов. Итд. Потом по сводной таблице правильных и неправильных ответов можно будет увидеть если какой-то класс будет предсказываться явно лучше остальных.
п.с. никогда не занимался сам таким. Возможно несу бред. Но если вам пошло с деревьями, и множеством классов, то такой тест - вполне логичное продолжение эксперимента.

Я думаю, что дерево же работает по исключение, т.е. если оно нашло 1, то всё остальное 0, а вот когда есть больше вариантов, оно начинает классифицировать оставшиеся нули, а не сбрасывать их в одну кучу, что уменьшает ошибку (но это моя гипотеза). А что бы помочь ему классифицировать эти другие 2,3,4 то думаю добавить предиктор, который укажет не просто на фин результат от входа, а на основе имеющихся других предикторов будет формировать сигнал на вход, тогда должна появится обратная связь, т.е. думаю добавить ещё и разные обоснование входов и их финансовый результат. Сложность тут будет в случае конфликта входов по разным ТС, возможно просто в отдельную группу поместить стоит данную ситуацию.


Dr. Trader:

Сейчас не надо, у меня там каша в нескольких R скриптах, пробую разные методики подбора параметров. Если что-то в итоге подойдёт, и результат будет лучше чем в вашей программе - скрипт сюда приатачу, сможете дальше сами экспериментировать.

Если надо будет - скажите, всё равно пока железо простаивает.

 
Maxim Dmitrievsky:

я описал уже свое видение лол

причем это не просто видение, а реальность. Принимать ее или нет дело каждого

уровень абстракций - не палка палка огуречек, а почему на рынке меняются закономерности и с какой периодичностью, причины и следствия. Надоело повторять

Так и я ответил, что инструмент показывает ерунду, акцентирует свое внимание на тренды, что не верно.

 
Aleksey Vyazmikin:

Так и я ответил, что инструмент показывает ерунду, акцентирует свое внимание на тренды, что не верно.

договорились

 
Maxim Dmitrievsky:

договорились

Т.е. циклы может и есть, просто инструмент не тот - это визуальное восприятие.

Вы, пожалуйста скажите, если у него 1001 критерий имеется, и я заблуждаюсь. Мне нет смысла оспаривать, я сказал о своем визуальном восприятии, если не прав, то хотел бы знать, что ошибаюсь.

 
Aleksey Vyazmikin:

Т.е. циклы может и есть, просто инструмент не тот - это визуальное восприятие.

Вы, пожалуйста скажите, если у него 1001 критерий имеется, и я заблуждаюсь. Мне нет смысла оспаривать, я сказал о своем визуальном восприятии, если не прав, то хотел бы знать, что ошибаюсь.

я показал некоторые реально существующие периодики, и декомпозиция их тоже определяет

Владимир Перервенко использует спектральный анализ, что очень похоже

как это использовать на практике пусть каждый свою больную творческую фантазию применяет, т.к. советы не даю пока грааль не доделан

 
Maxim Dmitrievsky:

я показал некоторые реально существующие периодики, и декомпозиция их тоже определяет

Владимир Перервенко использует спектральный анализ, что очень похоже

как это использовать на практике пусть каждый свою больную творческую фантазию применяет, т.к. советы не даю пока грааль не доделан

Считаете ли Вы, что эти циклы есть и на малых TF? Давайте посмотрим, там же баров то поболее будет!