Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2722

 
Valeriy Yastremskiy #:

Потому что там можно определить причинно-следственную связь. В рынке мы лишены такой возможности.

Есть случайные ВР , их тоже пргнозируют те без причинно следственной связи...

Скажешь  - так рынок это и есть случайный ВР +  не стацонарный.. Ок есть методы как сделать его стационрным но после этого он всеравно не прогнозируем..

 
mytarmailS #:

ответь на вопрос логически: почему ниодин метод для ВР не работает на рынке если рынок есть ВР.

А для любых других ВР эти методы работают, собственно для того и создавались.

Рандома больше, нужно выкаблучиваться чтобы заработало 
 
Maxim Dmitrievsky #:
Рандома больше, нужно выкаблучиваться чтобы заработало 

можно разложыть ряд на компоненты (декомпозировать) , найти рандом , найти детерминированую часть. Рандом викинуть, остальное оставить.. Стандартное дело для обработки ВР ...

Но нет, тоже не работает..

В какой то момент на новых данных, рандом станет детерминированым, а детерминированый станет рандомом...

Так что тоже НЕА)

 
mytarmailS #:

можно разложыть ряд на компоненты (декомпозировать) , найти рандом , найти детерминированую часть. Рандом викинуть, остальное оставить.. Стандартное дело для обработки ВР ...

Но нет, тоже не работает..

В какой то момент на новых данных, рандом станет детерминированым, а детерминированый станет рандомом...

Так что тоже НЕА)

Конечно, в обучающих материалах простые ВР, чтобы проще было объяснять. В Реале все сложнее.

Есть другие не финансовые ВР, которые тоже сложно предсказываются, с некой минимально возможной ошибкой. Но в трейдинге проще, потому что не обязательно постоянно предсказывать, можно настроить модель делать это выборочно. В последней статье так и сделал, теперь осталась тема подбора информативных признаков. Метод уже придумал, осталось экспериментировать.

Хочу завершить до конца свой подход и он должен стать универсальным, по задумке, то есть давать результаты на любой валюте 

А вы со своими Событиями тоже делаете 3-й класс не торговать по сути, ничего там нового нет. Разделяете ВР на то, что прогнозируется и не прогнозируется.
 
Maxim Dmitrievsky #:
А вы со своими Событиями тоже делаете 3-й класс не торговать по сути, ничего там нового нет. Разделяете ВР на то, что прогнозируется и не прогнозируется.

Это твои фантазии, а не реальность


Я вижу пока так:

есть данные допустим 100к наблюдений назву его "X.big"

1)  выделяеться (паттерн, правило, событие, сигнал от ТС) что  то что нам интересно , я называю это "начальное правило"  (Алексей фунц. активации. назв. крайне неудачно но..)

2) выделяем из данных "начальное правило" и топерь у нас 100-1000 наблюдений, а не 100к  те уменьшыли пространство поиска  "X.small"

3) в  "X.small" начинаеться полномасштабный перебор признаков , я  вижу признаки в виде последовательных правил , правила автоматом генерируються через генетическое програмирование, хочу полный перебор, но не уверен получиться ли

4) масив из созданых признаков подаеться в модель скажем по 1000 штук за раз

5) модель(какой то АМО) отбирает признаки по важности и сохраняет хорошые признаки, получает новый масив итд...

6) в результате поиска получим несколько тыс, рабочих признаков по конкретному    "начальному правилу"


таким образом если это все назвать моделью то : модель сама придумывает и опробывает милиарды признаков и выделяет что надо

 
mytarmailS #:

Это твои фантазии, а не реальность


Я вижу пока так:

есть данные допустим 100к наблюдений назву его "X.big"

1)  выделяеться (паттерн, правило, событие, сигнал от ТС) что  то что нам интересно , я называю это "начальное правило"  (Алексей фунц. активации. назв. крайне неудачно но..)

2) выделяем из данных "начальное правило" и топерь у нас 100-1000 наблюдений, а не 100к  те уменьшыли пространство поиска  "X.small"

3) в  "X.small" начинаеться полномасштабный перебор признаков , я  вижу признаки в виде последовательных правил , правила автоматом генерируються через генетическое програмирование, хочу полный перебор, но не уверен получиться ли

4) масив из созданых признаков подаеться в модель скажем по 1000 штук за раз

5) модель отбирает признаки по важности и сохраняет хорошые признаки, получает новый масив итд...

6) в результате поиска получим несколько тыс, рабочих признаков по конкретному    "начальному правилу"


таким образом если это все назвать моделью то : модель сама придумывает и опробывает милиарды признаков и выделяет что надо

Опять 25.. это ничем не отличается от 3-классовой классификации по смыслу

 
Maxim Dmitrievsky #:

Опять 25.. это ничем не отличается от 3-классовой классификации по смыслу

Давай я создам дата сет и посмотрим чей алгоритм будет лучше 

 
Maxim Dmitrievsky #:
Один говорит что я его идеи своровал, другой что учил меня.. вы вообще кто?))

"Своровал" - прям так и говорил? Бессовестный, сразу понятно.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, практика, торговля и не только

Aleksey Vyazmikin, 2020.12.03 19:11

Так идея как раз в оценке модели, а модель собственно распутывает запутанные целевые, и мы можем оценить успех её в этом деле, а не просто посмотреть, как все запутанно.

Я думаю попробовать каскадный метод обучения (термин сам придумал - может есть нечто иное). На графиках видно, что есть области, где обучение успешно - эту область оставлять, а то, что выходит за эту область обучать снова, предварительно убрав из выборки примеры попавшие в распределения оставленной области. Руками я так уже пробовал делать - эффект был хороший, вот думаю автоматизировать, но второй день всё никак - уже боюсь, что эффект случаен оказался - не хочется огорчатся. Какое Ваше мнение на этот счет? Думаю, что на питоне это просто сделать.

Речь шла об этом из статье.

Цитирую:

"

Мы хотим написать алгоритм, который будет иметь возможность анализировать и корректировать собственные ошибки, итеративно улучшая свои результаты. Для этого предлагается взять связку из двух классификаторов и обучать их последовательно, как предложено ниже на схеме. 

"

"

Интуиция такого подхода состоит в том, что убыточные сделки являются ошибками классификации первого рода для базовой модели, по терминологии матрицы несоответствия (confusion matrix). То есть это те случаи, которые она классифицирует как false positives. Метамодель фильтрует такие случаи и дает оценку 1 для true positives и 0 для всего остального. Фильтруя через метамодель датасет для обучения базовой модели, мы повышаем ее Precision (точность), то есть количество правильных срабатываний на покупку и продажу. В это же время метамодель повышает свой Recall (полноту), классифицируя как можно больше различных исходов. 

"

Идеи одинаковы, но Вы сделали реализацию и продумали детали - я только сказал о концепции, и не уверен, что публиковал свои эксперименты и код реализации.

Напомнил я об этом в рамках того, что Вы можете сейчас не понимать о чём речь, а потом этим пользоваться, когда понимание придет. И, что не понимание - не повод вести себя неадекватно и высказывать свои оценочные суждения о личностях людей и их логике.

 
mytarmailS #:

Давай я создам дата сет и посмотрим чей алгоритм будет лучше 

датасет из чего состоять будет? Я на вход только котировки беру

 
Aleksey Vyazmikin #:

"Своровал" - прям так и говорил? Бессовестный, сразу понятно.

Речь шла об этом из статье.

Цитирую:

"

Мы хотим написать алгоритм, который будет иметь возможность анализировать и корректировать собственные ошибки, итеративно улучшая свои результаты. Для этого предлагается взять связку из двух классификаторов и обучать их последовательно, как предложено ниже на схеме. 

"

"

Интуиция такого подхода состоит в том, что убыточные сделки являются ошибками классификации первого рода для базовой модели, по терминологии матрицы несоответствия (confusion matrix). То есть это те случаи, которые она классифицирует как false positives. Метамодель фильтрует такие случаи и дает оценку 1 для true positives и 0 для всего остального. Фильтруя через метамодель датасет для обучения базовой модели, мы повышаем ее Precision (точность), то есть количество правильных срабатываний на покупку и продажу. В это же время метамодель повышает свой Recall (полноту), классифицируя как можно больше различных исходов. 

"

Идеи одинаковы, но Вы сделали реализацию и продумали детали - я только сказал о концепции, и не уверен, что публиковал свои эксперименты и код реализации.

Напомнил я об этом в рамках того, что Вы можете сейчас не понимать о чём речь, а потом этим пользоваться, когда понимание придет. И, что не понимание - не повод вести себя неадекватно и высказывать свои оценочные суждения о личностях людей и их логике.

Ну так берем код из статьи и проверяем. Зачем мне понимать о чем речь, если ничего еще нет.

У меня куча вариантов есть реализаций таких, в том числе с дообучением а не переобучением заново, дообучением по бэйслайнам и прочее.

Тем более что когда начинаешь делать, результат отличается от фантазийного, который изначально планировался

Причина обращения: