Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1289

 
elibrarius:

Выводится дельта ошибок т.е. какой вклад вносит этот предиктор в общую ошибку модели. На обучающем участке удаление по 1 изменяло ошибку не более чем на 0,5% (т.к. на этом участке сильная подгонка) А вот на валидирующем участке ошибка уже до 5,5% изменяется (т.к. этот участок не подгонялся). Пермутация и на трейне и на валиде до 5-6% скачет.


В общем случайности переобучений + случайности перемешивания узла дают тоже случайный результат.

Пожалуй займусь наращиванием предикторов по 1. Думаю до 10-20 будет быстро генерить модельки, а потом уже тормоза пойдут.

если параметры немного скачут то это нормально, лес же случайный. Если сетсид сделать то одинаково всегда должно быть.

т.е. что там что там ~5% на валиде, значит одинаковую работу делают

 
elibrarius:

сетсид- в алглибе разве есть?

там же есть гсч для сплитов

я просто ставил в эксперта или скрипт или че там MathSrand() перед обучением леса или при инициализации

по моему даже работало.. забыл.. сейчас не делаю т.к. не нужно
 
Yuriy Asaulenko:

Вообще-то, я о цикличности. А мысленные эксперименты ничего не стоят, но бывают оч. полезны.)

Кстати, если-бы на рынке были реальные циклы, их можно было бы всегда выделить спектральным анализом. Так вот, на совершенно разных длительностях анализа - чисто шумовой спектр. Делал давно, если соберусь повторить на Питоне, продемонстрирую.

а зачем? и так все понятно

на рынке есть циклы, но они непериодические, т.е. возникают, продолжаются и исчезают. Вероятно, случайным образом. Вопрос как это явление отлавливать (и можно ли), больше вопросов к ВР котировок нет.

 
Maxim Dmitrievsky:

а зачем? и так все понятно

на рынке есть циклы, но они непериодические, т.е. возникают, продолжаются и исчезают. Вероятно, случайным образом. Вопрос как это явление отлавливать (и можно ли), больше вопросов к ВР котировок нет.

на рынке есть циклы, но они непериодические - Максим, циклы, по определению, периодические, либо близкие к тому - псевдопериодические. Других циклов не бывает.) Либо они не циклы.)

Прогнозировать или отлавливать случайные явления невозможно. Их можно попытаться обнаружить только в процессе их появления и признакам жизнедеятельности, по ходу пьесы, не более, чем с некоторой вероятностью, возможно и оч небольшой.

 
Yuriy Asaulenko:

на рынке есть циклы, но они непериодические - Максим, циклы, по определению, периодические, либо близкие к тому - псевдопериодические. Других циклов не бывает.) Либо они не циклы.)

Прогнозировать или отлавливать случайные явления невозможно. Их можно попытаться обнаружить только в процессе их появления и признакам жизнедеятельности, по ходу пьесы, не более, чем с некоторой вероятностью, возможно и оч небольшой.

как объяснить.. короче есть сигнал или чето там, который(ое) принимает форму цикла, а после точки бифуркации принимает форму другого цикла. Или точки разладки, как хотите так называйте, смысл не меняется

Как это называется по наукообразию не знаю, но после определенного полупериода цикл можно "вести" с приличной вероятностью и низкой ошибкой, пока он опять не сломается и не пройдет определенное время (полупериод или как это называется), за который можно опять зацепиться. Это типа в теории как это может работать.

 
Maxim Dmitrievsky:

как объяснить.. короче есть сигнал или чето там, который(ое) принимает форму цикла, а после точки бифуркации принимает форму другого цикла. Или точки разладки, как хотите так называйте, смысл не меняется

Как это называется по наукообразию не знаю, но после определенного полупериода цикл можно "вести" с приличной вероятностью и низкой ошибкой, пока он опять не сломается и не пройдет определенное время (полупериод или как это называется), за который можно опять зацепиться

Если вы знаете это, и это действительно реально существует (назовем это: цикл развития явления, что опять-таки регулярно повторяющиеся события), то вы можете с легкостью это использовать.

Я могу видеть такие вещи только на истории, когда все уже случилось. На реал-тайм - я пас.) Кстати, это обычное явление, когда идентифицировать сигнал мы можем только после его завершения. В обработке сигналов часто так и делается.

 
Maxim Dmitrievsky:

как объяснить.. короче есть сигнал или чето там, который(ое) принимает форму цикла, а после точки бифуркации принимает форму другого цикла. Или точки разладки, как хотите так называйте, смысл не меняется

Как это называется по наукообразию не знаю, но после определенного полупериода цикл можно "вести" с приличной вероятностью и низкой ошибкой, пока он опять не сломается и не пройдет определенное время (полупериод или как это называется), за который можно опять зацепиться. Это типа в теории как это может работать.

Это легко укладывается в мою теорию о рынке. Просто кто-то с большими деньгами включил свой алгоритм по набору позиции/проведению операций, какой то крупный банк, может и ЦБ, естественно, что быстро это не делается, но так-как этот участник был доминирующим, и этому способствовала рыночная ситуация, то удалось найти признаки его алгоритма. Конечно, после того, как участник перестал влиять на рынок, то и признаки перестали работать. Таких участников много (может 100) их алгоритмы могут наслаиваться, но есть предположение, что они сходны (вспомните технический анализ и требования для банков обосновывать свою торговую операцию с учетом этого анализа (во всяком случае в РФ так)), и по этой причине есть смысл анализировать большую выборку, где один и тот же алгоритм запускался многократно, тогда есть шанс понять как он работает, описать его косвенными признаками, но модель должна научиться его идентифицировать и не работать в этот момент на шуме, в ожидании включения алгоритма, под который она смогла подстроиться. Думаю, это конечно ещё лучше будет работать на акциях и производных инструментах, я не занимаюсь МО на форексе.

Но в итоге, нам надо найти моделей 10, которые будут описывать алгоритм лиц с большими деньгами, и научиться определять, какой алгоритм будет предпочтительней в данный момент времени. Так-как цикл алгоритма может быть пару дней и он, вероятно будет повторяться на протяжении не большого времени, то не страшно, если мы войдем с малым опозданием, главное выбрать правильную модель под этот алгоритм.

Мы все го лишь маленькие рыбки, которые на взаимовыгодных условиях могут присоединится к киту - большому участнику рынка.
 
Yuriy Asaulenko:

Если вы знаете это, и это реально действительно реально существует (назовем это: цикл развития явления, что опять-таки регулярно повторяющиеся события), то вы можете с легкостью это использовать.

Я могу видеть такие вещи только на истории, когда все уже случилось. На реале - пас.) Кстати, это обычное явление, когда идентифицировать сигнал мы можем только после его завершения. В обработке сигналов часто так и делается.

на истории существует, как это алгоритмизировать не знаю

 
Aleksey Vyazmikin:

Это легко укладывается в мою теорию о рынке. Просто кто-то с большими деньгами включил свой алгоритм по набору позиции/проведению операций, какой то крупный банк, может и ЦБ, естественно, что быстро это не делается, но так-как этот участник был доминирующим, и этому способствовала рыночная ситуация, то удалось найти признаки его алгоритма. Конечно, после того, как участник перестал влиять на рынок, то и признаки перестали работать. Таких участников много (может 100) их алгоритмы могут наслаиваться, но есть предположение, что они сходны (вспомните технический анализ и требования для банков обосновывать свою торговую операцию с учетом этого анализа (во всяком случае в РФ так)), и по этой причине есть смысл анализировать большую выборку, где один и тот же алгоритм запускался многократно, тогда есть шанс понять как он работает, описать его косвенными признаками, но модель должна научиться его идентифицировать и не работать в этот момент на шуме, в ожидании включения алгоритма, под который она смогла подстроиться. Думаю, это конечно ещё лучше будет работать на акциях и поизводных инструментах, я не занимаюсь МО на форексе.

Но в итоге, нам надо найти моделей 10, которые будут описывать алгоритм лиц с большими деньгами, и научиться определять, какой алгоритм будет предпочтительней. Так-как цикл алгоритма может быть пару дней и он, вероятно будет повторяться на протяжении не большого времени, то не страшно, если мы войдем с малым опозданием, главное выбрать правильную модель под этот алгоритм.

Ну хз насчет поиска 10 моделей. Но то что входящая в рынок инфа структурируется в цикл, который имеет начало, продолжение и конец, то это стопудова

а точка бифуркации это как раз момент воздействия новой взрывной порции инфы, которая потом структурируется во времени. Возмущение, которое расходится кругами (волнами) какое-то время.

Поэтому, например, закономерности внутри фьюч. контрактов сильнее, чем в разных фьюч. контрактах, подмечено

 
Maxim Dmitrievsky:

на истории существует, как это алгоритмизировать не знаю

На истории вполне может и существовать. А реал-тайм, и вовремя, это обнаружить вообще возможно? Если это неизвестно, то совсем не факт, что решение вообще существует.

Обычно проверяю такие вещи статистикой. По большей части результаты никакие.) Глазами видишь, а статистика говорит, что ничего там нет - кажущееся отражение кажущейся Луны.)

Причина обращения: