Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 943

 
Maxim Dmitrievsky:

Сделал декомпозицию недельного ТФ, 1400 баров (почти вся доступня история в терминале)

Здесь не отображаются даты, поэтому не совсем удобно. Придется переписать через Plot или индикатор. что бы на графике разметить, пока чисто визуально

более выраженные цкличности есть на мелких модах. А самая большая получилась +- 14 лет (2 полупериода от 28 лет), которая разбивается на 4-ре 7-ми летки (как и говорил). Причем, последний 7-летний цикл закончился в начале этого года (примерно), что говорит о том, что обучать сетку на более ранних датах не имеет большого смысла

Посередине не такие выраженные цикличности

А что бы не парить мозг надо просто в НС загонять все моды, к тому же они не коррелируют

тогда она будет распознавать периодичности разные, а может быть и не будет, вопрос философский, как сделаешь так и будет :)

Спасибо, что поделились результатами анализа.

Вот смотрю я и думаю, да всё это туфта :) Как можно говорить о циклах 14 летних, если у нас нет хотя бы ста наблюдений - это скорей случайность, ну может это как то завязано на 7ми летних бондах США, сразу думаю я, но как тут ждать продолжение банкета - загадка. Более мелкие периоды наблюдения говорят о шуме, который мы видим ежедневно на любом ТФ.

Ну а смену крупных циклов тогда можно ловить обычной машкой, если не будет сильных трендов...

Допустим, у валют есть циклы - допустим. Тогда возникает вопрос, у всех валютных пар разные циклы или одинаковые? Можно ли брать информацию для обучения со всех валютных пар и обучать одну модель, если предикторы используют относительные показатели?

 
Aleksey Vyazmikin:

Спасибо, что поделились результатами анализа.

Вот смотрю я и думаю, да всё это туфта :) Как можно говорить о циклах 14 летних, если у нас нет хотя бы ста наблюдений - это скорей случайность, ну может это как то завязано на 7ми летних бондах США, сразу думаю я, но как тут ждать продолжение банкета - загадка. Более мелкие периоды наблюдения говорят о шуме, который мы видим ежедневно на любом ТФ.

Ну а смену крупных циклов тогда можно ловить обычной машкой, если не будет сильных трендов...

Допустим, у валют есть циклы - допустим. Тогда возникает вопрос, у всех валютных пар разные циклы или одинаковые? Можно ли брать информацию для обучения со всех валютных пар и обучать одну модель, если предикторы используют относительные показатели?

здесь под циклами понимается не смена графика, а изменение закономерностей, поэтому причем тут машки и дашки. Наверное, декомпозиция немного вводит в заблуждение т.к. отображает не те циклы, которые могут немного не совпадать с теми, о каких идет речь

я уже писал выше какие циклы есть и можно оттолкнуться от этого для построения предикторов и за какие периоды обучать. Дальше сами думайте надо оно вам или нет, если не лень думать :)

Если циклов и вложенных циклов нет, то вы пытаетесь торговать шум, что нереально. Поэтому я бы озадачился этим вопросом более серьезно :)

 
Maxim Dmitrievsky:

здесь под циклами понимается не смена графика, а изменение закономерностей

я уже писал выше какие циклы есть и можно оттолкнуться от этого для построения предикторов и за какие периоды обучать. Дальше сами думайте надо оно вам или нет, если не лень думать :)

Если циклов и вложенных циклов нет, то вы пытаетесь торговать шум, что нереально. Поэтому я бы озадачился этим вопросом более серьезно :)

Подразумеваться конечно может, но визуально видно, что ловится смена вектора движения. Что б говорить о смене закономерности в нашем деле, её надо выявить, и при этом исключить тренд, как закономерность на которую и ловится судя по всему тот метод.

Шум торгуют у меня контр трендовики на Форекс, что реально, и многие проходили тестирования на 10 летней истории и продолжают работать до сих пор.

Я же торгую эмоции толпы на срочном рынке, при этом мне лишь важно понимать, диапазон в котором толпе дадут испытывать сильные волнения. Т.е. я отслеживаю ограничения накладываемые глобальной тенденцией.

 
Aleksey Vyazmikin:

В мной используемой программе получается такая картина - попаданий всего 30.81%


Однако, если сложить ошибки к примеру -2 и -1 между собой, и сложить верно найденные решение, а потом противопоставить не верно найденным, и игнорировать целевую под номером 3, так как это фильтр и на финансовый результат он уже не повлияет, то получаем такую картину:

в этом случае ошибка составит уже 49,19% на вход в позицию, что уже не так уж и плохо!

По-моему вы сделали недопустимую операцию. В такой сводной таблице постфактум видно какие классы лучше всего предсказались, но в реальной торговле даже игнорируя все классы кроме -1 и 1 вы не узнаете заранее действительно ли они фактически окажутся -1 и 1.

Вот так будет правильнее -  

В логике робота можно легко отключить торговлю при предсказании "-2","2","3". Но вот фактический результат вы не отключите, он будет хорошо виден на графике баланса счёта.


п.с. с тремя классами пока-что результат не получил. Первый раз когда запустил скрипт - оказалось что в коде ошибка. Во второй раз запускал скрипт всего на пару часов, промежуточный результат ниже. Потом компьютер для своих нужд потребовался, обучение дерева остановил, сегодня на ночь дальше запущу дерево.


y_pred

 
y_true
-10
-1
5037
46470
 906
0
3135
97569
 1369
 1 2414 44139 1721

Вот это мне уже больше нравится. Дерево почти всегда возвращает "0", а реальные сигналы на вход - довольно редко. Значит не будет множества ложных входов. Лищь бы эти редкие сигналы на вход были успешными. 

 
Aleksey Vyazmikin:

Подразумеваться конечно может, но визуально видно, что ловится смена вектора движения. Что б говорить о смене закономерности в нашем деле, её надо выявить, и при этом исключить тренд, как закономерность на которую и ловится судя по всему тот метод.

если вы исключаете тренд, т.е. более крупный цикл, то вы никогда не уловите смену закономерностей

внутри продолжительных крупных циклов закономерности сохраняются, т.к. есть тенденции, на которые наложены более мелкие. Это придает стабильности.

то что вы торгуете там с просадками под 100% это баловство :) делал так по 1500% за мес а потом все ломалось. Я говорю о нормальных системах

 

Перечитал, про сложение -2 и -1 сейчас понял :)
1 и 2 видимо тоже сложены.

Но класс 3 означает убытки в любом случае?, так что его игнорировать точно нельзя.

 
Dr. Trader:

По-моему вы сделали недопустимую операцию. В такой сводной таблице постфактум видно какие классы лучше всего предсказались, но в реальной торговле даже игнорируя все классы кроме -1 и 1 вы не узнаете заранее действительно ли они фактически окажутся -1 и 1.

Вот так будет правильнее -  

В логике робота можно легко отключить торговлю при предсказании "-2","2","3". Но вот фактический результат вы не отключите, он будет хорошо виден на графике баланса счёта.

Да, я понял поздно ночью уже, что ошибся - посчитал только ошибки распределения нужных сигналов, но не учел, что другие сигналы так же дают ошибки указывая на противоположные значения.

Вчера ещё сделал набор за 2017 год - там так же в пределах 30% правильных данных, но, что меня удивляет на разных (разделил на две группы предикторы) наборах предикторов получаю схожий результат. Я вот думаю, это случайность, или как раз возможность для использование леса?

Dr. Trader:




 
-10
-1 906
0 1369
 1 2414 44139 1721

Вот это мне уже больше нравится. Дерево почти всегда возвращает "0", а реальные сигналы на вход - довольно редко. Значит не будет множества ложных входов. Лищь бы эти редкие сигналы на вход были успешными. 

Надо посмотреть окончательный результат. Слияние лучше делать из последнего приложенного мной файла - там разделение чуть точней 0 - всё что не принесло прибыль, а в более ранних файлах 0 - это и то что принесло очень маленькую прибыль.

Однако меня то удивило, что за счет увеличения целевых классификация отрабатывает лучше вне выборки обучения. Может наоборот, следует увеличить число разных классификаций?

PS Могу дать доступ к ноутбуку по TW, что б Вы не нагружали свой ПК.

 
Dr. Trader:

Перечитал, про сложение -2 и -1 сейчас понял :)
1 и 2 видимо тоже сложены.

Но класс 3 означает убытки в любом случае?, так что его игнорировать точно нельзя.

Класс 3 означает фильтр.

Я не учел, что этот 3 класс иногда идентифицируется, как -1,-2,1,2, а класс 1, как -1, -2 и так далее - в этом там ошибка.

 
Maxim Dmitrievsky:

если вы исключаете тренд, т.е. более крупный цикл, то вы никогда не уловите смену закономерностей

внутри продолжительных крупных циклов закономерности сохраняются, т.к. есть тенденции, на которые наложены более мелкие. Это придает стабильности.

то что вы торгуете там с просадками под 100% это баловство :) делал так по 1500% за мес а потом все ломалось. Я говорю о нормальных системах

Тренд - это простая закономерность, я не думаю, что МО должно на него ориентироваться.

Просадка под 100% - это плановое явление (почти), большие просадки там следствие того, что капитал распределен между разными счетами и ТС, и он переводится по мере возможности/необходимости на другие счета. Там есть сигналы с фиксацией убытка, но их причины таковы:

1. Горячая смена ТС - заменил ТС, когда прошлая ТС ещё не закрыла все свои позиции.

2. Ошибка в подготовленном файле для загрузки настроек - перепутал настройки между разными инструментами

3. Экспериментальные (это предпоследняя серия сигналов Raznica 01), которая не была протестирована на всех инструментах с базовыми настройками и я руками закрыл USDCHF на последнем бычьем тренде, хотя вижу сейчас, что мог бы закрыть по безубытку. Как раз тут ситуация в том, что у этого инструмента долго был боковик.

4. Ночью произошла просадка и я не перевел средства, так как не отмониторил эту ситуацию. С того момента я сделал скрипт, который бегает 24 часа в сутки по всем счетам и звуком(буквально голосом) сообщает что недостаточно средств на счете, что служит сигналом для пополнения и эта ситуация больше не должна произойти, за исключением форс мажорных обстоятельств.

Но есть и те, кто работает уже 1,5 года без доработок.

Там есть много ещё задумок на бумаге - на всё не хватает сил и времени.

 
Aleksey Vyazmikin:

Тренд - это простая закономерность, я не думаю, что МО должно на него ориентироваться.

не понимаете смысла короче, не тот уровень абстракций, проехали )

Причина обращения: