Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1761

 
Valeriy Yastremskiy:
одно не пойму почему степень сжатия самая высокая у рандомного ряда и у Пи?

Все наоборот, у них самая маленькая степень сжатия

 
Rorschach:

Все наоборот, у них самая маленькая степень сжатия

Понял, степень сбила с толку. осталось вытащить закономерности и разархивировать и посмотреть разницу с оригиналом.

 
Rorschach:

Мысль пришла, архиватор можно использовать как тест на случайность. Рандом архиватором не сожмется.

Надо проверить котир, разных размеров, несколько выборок. Попробовать сделать разложение на компоненты, улучшается ли сжатие.

flac хуже жмет, хотя вроде для такого больше приспособлен. flac еще интересен был, потому что там используется апроксимация+шум.

Уже встречалась такая идея. Так как ссылки на сторонние ресурсы запрещены, вставлю картинкой.


 

Интересная идея - представить изображения в виде волны, а точней 50 волн.

Каждую волну можно подать на вход НС.

Просто мысль.

Бэтмен, Ведьмак и Макс Пэйн в минимализме — всего 50 линий и 2 цвета
Бэтмен, Ведьмак и Макс Пэйн в минимализме — всего 50 линий и 2 цвета
  • kanobu.ru
Говорят, лучшие образы — это те, которые не теряют силы при минимальных средствах выражения. Мы нашли способ, как это проверить. В интернете появился...
 
Aleksey Vyazmikin:

Интересная идея - представить изображения в виде волны, а точней 50 волн.

Каждую волну можно подать на вход НС.

Просто мысль.

прикольно, но бессмысленно )

 
mytarmailS:

прикольно, но бессмысленно )

У меня есть экспериментальные "сверточные" предикторы, принцип которых разбитие чарта на сетку и информирование о скоплении баров, фактически контрастность. И, удивительно, но в некоторых листьях закономерности работают. Я пока не развивал дальше эту идею, а сосредоточился на структуре данных и возможности агрегации. Я к тому, что тут по сути похожий принцип сжатия данных.

Кстати предложение работать экспериментально с открытым дата сетом интересно. Однако, как Вы это представляете возможным без открытого кода советника с функцией разметки и сохранения предикторов?

 
Aleksey Vyazmikin:

У меня есть экспериментальные "сверточные" предикторы, принцип которых разбитие чарта на сетку и информирование о скоплении баров, фактически контрастность. И, удивительно, но в некоторых листьях закономерности работают. Я пока не развивал дальше эту идею, а сосредоточился на структуре данных и возможности агрегации. Я к тому, что тут по сути похожий принцип сжатия данных.

скопление баров?  я что подобное делал но  в виде распределений, или если говорить более трейдерким языком то строил что то типа профилей объема вместо графиков, занятная штука... есть смысл копать + представление уровней + удобная алгоритмизация 

Aleksey Vyazmikin:

Кстати предложение работать экспериментально с открытым дата сетом интересно. Однако, как Вы это представляете возможным без открытого кода советника с функцией разметки и сохранения предикторов?

Представляю это все в виде файла тхт или csv , где колонки это фичи/предикторы/признаки а последняя целевая 

С целевой  договориваемся сразу, что это должно быть и с какими параметрами и вперед...

каждый участник в своем ПО открывает датасет и пробует уменьшить ошибку  классификации , если удалось то добавляет в датасет те фичи которые он нагенерировал и возвращает обратно уже улучшенный датасет в публику , и так далее , получается такой людской генетический алгоритм по генерации и селекции признаков.

Когда будет достигнута приемлемая ошибка , тогда можно будет думать о переносе всего на mql код

как то так я это вижу


Думаю приемлемая ошибка это 95% + , пока максимум это 77-83% +-

Также чтобы не генерили "мусорных признаков"  можно установить ограничения такого вида что признак должен улучшать ошибку минимум на 1% например, а то накидают  15000 машек и скажут вот я улучшил ошибку на 2% ))  я герой ))

 
 
mytarmailS:

скопление баров?  я что подобное делал но  в виде распределений, или если говорить более трейдерким языком то строил что то типа профилей объема вместо графиков, занятная штука... есть смысл копать + представление уровней + удобная алгоритмизация 

У меня сейчас 16 ячеек 4x4, есть динамичное окно, и я считаю сколько баров закрылось в каждой из ячеек - если примитивно.


mytarmailS:

Представляю это все в виде файла тхт или csv , где колонки это фичи/предикторы/признаки а последняя целевая 

С целевой  договориваемся сразу, что это должно быть и с какими параметрами и вперед...

Целевую надо генерировать советником, иначе не ясно, как получать новые предикторы - по каким данным.

Целевых можно тогда зашить множество, что позволит выявлять предсказательную силу предикторов, ведь хороший предиктор будет успешен на разных целевых.

Инструмент должен быть одинаковый у всех - фьючерс на Moex или склейка лучше. Мне нравится Si.

 
Aleksey Vyazmikin:

У меня сейчас 16 ячеек 4x4, есть динамичное окно, и я считаю сколько баров закрылось в каждой из ячеек - если примитивно.

Ну да, я приблизительно так и понял, это  +- как в "text mining"  когда считают частоты слов или букв в тексте

Aleksey Vyazmikin:

Целевую надо генерировать советником, иначе не ясно, как получать новые предикторы - по каким данным.

Зачем?  Нам пока не надо никаких новых данных , взять пускай 60к наблюдений разделить на тест и трейн и в бой.

Тоже и с целевой, создать сразу например ZZ , бинаризировать его в 1001100 и тоже вперед.

Aleksey Vyazmikin:

Целевых можно тогда зашить множество, что позволит выявлять предсказательную силу предикторов, ведь хороший предиктор будет успешен на разных целевых.

Ну тут не согласен, для разных целевых нужны разные предикторы, если прогнозируем приращение минутки то одни признаки, если прогнозируем какой уровень на недельках будет пробит а какой нет, то совсем другие признаки

Но коллаборацию в целевых я поддерживаю конечно  !! Но можно это сделать в виде признака, например прогноз по целевой Y..n использовать как признак для основной целевой 

Aleksey Vyazmikin:

Инструмент должен быть одинаковый у всех - фьючерс на Moex или склейка лучше. Мне нравится Si.

Согласен, потому лучше взять что то универсальное из форекса без склеек..

В одном фючерсе мало данных, а склейки это уже искажения по ценам + провалы ликвидности на началах и концах склеек

 
mytarmailS:

Зачем?  Нам пока не надо никаких новых данных , взять пускай 60к наблюдений разделить на тест и трейн и в бой.

Тоже и с целевой, создать сразу например ZZ , бинаризировать его в 1001100 и тоже вперед.

Согласен, потому лучше взять что то универсальное из форекса без склеек..

В одном фючерсе мало данных, а склейки это уже искажения по ценам + провалы ликвидности на началах и концах склеек

Если мы работаем с готовой выборкой, то это попытка вытянуть из собранных данных что-то полезное, но кто гарантирует, что данные собраны полезные? Мне интересно в первую очередь работать со своими предикторами, иначе нет смысла тратить время. Поэтому и должна разметка быть воспроизводимой каждым, что бы он мог добавить свои предикторы для обучения.

По ZZ не знаю, что там у Вас за целевая - как из неё деньги извлечь? Ведь помимо разметки нужен и финансовый результат от действий классификации.

Ну, мне Forex не интересен, а по Si провалов ликвидности нет на склейке. Где криво склеено - исключаю день из выборки. Forex у каждого ДЦ свой...

Причина обращения: