Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2384

 
mytarmailS:

Я нашел способ генерировать такие правила которые работают и на трейне и на тесте, наконец то МЛЯЯЯЯ....

мой брокер , мой трейн и тест



ТВОЙ брокер ТВОИ данные и тест за 9 лет проходит !!

Грааль найден!!!!!!!

Самое смешное что я пропаду из форума завтра, где то на месяц , очень неудачно( хочу поделиться но времени уже нет, когда смогу отпишу что и как надо делать..


Для комфортной торговли нужно намайнить 200-400 таких правил (или паттренов если хотите)

Чтобы понять  масштаб скажу так, мой слабенький ноут  может намайнить 5-8 правил за сутку

в майнинге правил не вижу ничего предосудительного, я хотел сделать визуального майнера (очень быстрого) с ползунками, для поиска закономерностей

но, как обычно, пока не сделал

 
Maxim Dmitrievsky:

в майнинге правил не вижу ничего предосудительного, я хотел сделать визуального майнера (очень быстрого) с ползунками, для поиска закономерностей

но, как обычно, пока не сделал

А что выводить хотел и как?

 
Valeriy Yastremskiy:

А что выводить хотел и как?

типа боксплотов

 
Maxim Dmitrievsky:

типа боксплотов

Результаты обучения или намайненные правила в боксплотах?

 
Maxim Dmitrievsky:

в майнинге правил не вижу ничего предосудительного

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Maxim Dmitrievsky:

 я хотел сделать визуального майнера (очень быстрого) с ползунками, для поиска закономерностей

но, как обычно, пока не сделал

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

 
mytarmailS:

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

ну так покажи на примере результатов ТС

 
Maxim Dmitrievsky:

ну так покажи на примере результатов ТС

пока не могу , нужно намайнить хоть с 500 "грязных" правил из которых окончательную проверку пройдет 10%..

чтобы ты понимал за всю вчерашнею ночь я намайнил 2 "грязных" правила


Работаю над ускорением синтеза правил, сегодня придумал как увеличить скорость в 5 раз, код переписал, думаю еще..

 
mytarmailS:

пока не могу , нужно намайнить хоть с 500 "грязных" правил из которых окончательную проверку пройдет 10%..

чтобы ты понимал за всю вчерашнею ночь я намайнил 2 "грязных" правила

Вроде, Алексей предлагал вычислительные мощности, он любит что-нибудь долго считать, может вам сделать кооп :)

на R без векторизации все равно будет медленно. Можно через какую-нибудь быструю БД
 
Maxim Dmitrievsky:

Вроде, Алексей предлагал вычислительные мощности, он любит что-нибудь долго считать, может вам сделать кооп :)

на R без векторизации все равно будет медленно. Можно через какую-нибудь быструю БД

Да у меня в принципе векторизированы медленные части, саму логику алгоритма надо оптимизировать, сижу переосмыслю, уже придумал как ускорить в 5 раз, код переписал...

Еще признаков так мало, такие примитивные,с этим тоже надо что то делать , целевая мне не очень нравиться...

Ой мля... это как ремонт, эго можно только начать..

 
mytarmailS:

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

Какая-то философия. Ничего конкретного...
Причина обращения: