Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3462

 
Maxim Dmitrievsky #:

А меньше признаков не могут его отфильтровать?

В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..

По сути я довольно не тривиально заменил огромный перебор "всего со всем"  датасетом для модели, тем самым сократил перебор в тысячи раз.

Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу. 


Тут еще стоит задача как это все грамотно хранить и быстро извлекать.

Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил

 
mytarmailS #:

В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..

По сути я довольно не тривиально заменил огромный перебор "всего со всем"  датасетом для модели, тем самым сократил перебор в тысячи раз.

Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу. 


Тут еще стоит задача как это все грамотно хранить и быстро извлекать.

Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил

Ничего не понятно, но очень интересно )

 
mytarmailS #:

В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..

По сути я довольно не тривиально заменил огромный перебор "всего со всем"  датасетом для модели, тем самым сократил перебор в тысячи раз.

Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу. 


Тут еще стоит задача как это все грамотно хранить и быстро извлекать.

Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил

Попробуй "fst". Хорошо сжимает и позволяет произвольный доступ из сжатого файла
 
Vladimir Perervenko #:
Попробуй "fst". Хорошо сжимает и позволяет произвольный доступ из сжатого файла

прочитали мой вопрос в телеге про БД что ли? :)

А он может читать/фильтровать по условию типа   x[ А==3 & B>=4, ]
или только from\ to

Я что то не нашел


Пока все делаю через apache arrow
 

Придумал и реализовал ZZ для тиков за ночь на Python :) А у вас что нового?

Одна настройка всего. Ниже два варианта с настройкой 50 и 25.



 
Aleksey Vyazmikin #:

Придумал и реализовал ZZ для тиков за ночь на Python :) А у вас что нового?

Одна настройка всего. Ниже два варианта с настройкой 50 и 25.

Ну какая красота. Научите неграмотного, зачем он нужен, сделки по нему размечать?
 
Maxim Dmitrievsky #:
Ну какая красота. Научите неграмотного, зачем он нужен, сделки по нему размечать?

А чего бы и не разметку делать целевой...

Ладно, расскажу - для квантования :)))

 
Aleksey Vyazmikin #:

А чего бы и не разметку делать целевой...

Ладно, расскажу - для квантования :)))

Квантования тиков?

я пытался neovim на мак поставить. Такая порнография, vscode лучше

еще пишу библу свою, потому что много алгоритмов накопилось, решил разделить функции по библиотекам, чтобы юзать как конструктор потом.
 
Aleksey Vyazmikin #:

Придумал и реализовал ZZ для тиков за ночь на Python :) А у вас что нового?

Одна настройка всего. Ниже два варианта с настройкой 50 и 25.

А зачем придумывать и реализовывать то что уже 100 раз придумано и реализовано???

Что в питоне нету зигзага? 
 
mytarmailS #:
А зачем придумывать и реализовывать то что уже 100 раз придумано и реализовано???

Что в питоне нету зигзага? 
Чату формулу зигзага пишешь. И типа сам сделал :)
Причина обращения: