Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 911

 
Vizard_:

Я ж грю, барыжил софтом, пока спрос был.  Так как мозги на месте потыркался и вернулся в свою стезю... Но с головой дружил впринципе, и мог бы че нить путное сделать(ТС).  Но то что делал и чем Мишеков кормил было лажей и заключалось в обучении сетки на коротком переоде(месяца два три) на часовике если не изменяет память, входа мультивалютные. На дурочку короче...

Это ты про кого сейчас говоришь?


Блин, не могу найти эту фотку. Думаю она на переносном харде. Чуть позже выложу, потому как эта мысля уже давно не дает мне покоя, там и обсудим... как грица...

 
Maxim Dmitrievsky:

где можно почитать как дообучение происходит внутри? я думал только байесвоские хорошо дообучаемы

Так же как и при начальном обучении, только вместо нейросети с начально инициированными весами мы используем уже обученную модель. Как правило для этого при обучении используем 

 callback_model_checkpoint("checkpoints.h5"),

Посмотрите раздел

Удачи

Training Callbacks
Training Callbacks
  • keras.rstudio.com
You can create a custom callback by creating a new R6 class that inherits from the class. Here’s a simple example saving a list of losses over each batch during training: Fields Custom callback objects have access to the current model and it’s training parameters via the following fields: Named list with training parameters (eg. verbosity...
 
Vladimir Perervenko:

сенк!

 
Mihail Marchukajtes:

Не вопрос. Кидай.. Только предупрежу что целевая должна быть сбалансированна...

Что значит сбалансирована? Я не знаю, как это оценить.

 

Пока лазил искал фотку нашёл закладку на "Лабораторию". Теперь они почемуто открытой стала и вот что я выяснил. Етить мадрить... Фокусник, а ты оказывается засланный казачёк. Я почемуто думал что мы общались с тобой именно там. Но я тебя не вижу в списках участников..... Хм.... гдеж мы тогда могшли общатся, если это вобще было. Я говорю про те далёкие времена....


 
Aleksey Vyazmikin:

Что значит сбалансирована? Я не знаю, как это оценить.

Количество нулей и единичек должно быть равным. Но это не обязательно. Важно чтобы данные шли в хронологическом порядке. Внизу самые свежие. Давай... жду...

 
Mihail Marchukajtes:

Количество нулей и единичек должно быть равным. Но это не обязательно. Важно чтобы данные шли в хронологическом порядке. Внизу самые свежие. Давай... жду...

У меня совсем не равное количество, так-как ТС не предпологает извлечение прибыли на каждом чихе. В файле 1-2 столбец информационные, 3 и 4 это две независимых целевых, а остальные предикторы для них.

Файлы:
Pred_023.zip  3210 kb
 

Зато я нашёл эту фотку в лаборатории. Справа это Леонид Величковский, слева это Стив Вард создатель уже канувшего в лету Нейрошел традер. Надеюсь участники фото не будут против того что я её выложил. На заднем плане, на стенке  самый первый NeuroShell. Леонид ездил в америку к ним в офис и вот выложил фотку по приезду. Последняя дата сообщения лаборатории датируется 2010 годом. К тому времени активность участников упала и он стал мёртвым.


 

Так вот к чему я это всё. На уровне 2010 года развитие НС было не таким как сейчас. Последние годы область ИИ сильно шагнула вперёд. Да сети в НШ жутко переобучались и качество моделей было или вернее не было вообще. За все года использования НШ я ни разу не смог получить достоный результат. Леонид был единственным пользователе лицензионной НШ, а стоила она 2500 бакинских. НО сам интерфейс и те возможнос ти которые предоставляла программа для трейдера это был прорыв. Работа в НШ происходила не побарно как в МТ, а сразу целыми масивами индикаторов. Не было необходимость быть програмистом чтобы за 3-4 минуты запилить торговую стратеги на основании индикатора от индикатора от идикатора до бесконечности. Причём делалось это всё мышкой. ТО что нужно. Именно трейдерская программа. Так вот.....

А теперь представьте если её возродить, но включить в неёё последние достижения в предобработке, новый модели и методы обучения не приводящии к оверфиту. Вообщем сделать программу для трейда с мощным аппаратом неросетей.. Это будет взрыв на рынке програмного обеспечения для торговли, потмоу как разобратся в ней как три копейки и не нужно быть програимистром. Ещё тогда уже были созданы мосты и датафиды для передачи сигналов в терминал. 

Программа ОЧЕНЬ хорошая, единственное что её не хватало это качес твенного блока обучения сетей, предобработка данных и т.д. Думаю трейдеры по достоинству бы её оценили и взяли бы на вооружение.

Я могу ошибатся но программа перестала существовать после смерти Стива и с учётом того что она люто переобучалась она не была воспринята трейдерским сообществом достойно....

 
Vladimir Perervenko:

1. В пакете darch(v0.12.0) finetuning можно производить многократно на новой порции данных. Как долго это будет работать не проверял.

В keras/tensorflow  все модели дообучаемы, причем с любого этапа предыдущего обучения. Конечно нужно сохранять промежуточные результаты обучения.

Спасибо.

Vladimir Perervenko:

2. Походу какой пьесы Вы хотите изменять параметры обучения и какие? Что  такое ручной отжиг? 

Успехов

Меняю параметры обучения стандартного ВР по результатам предыдущего обучения. По сути - это тот-же отжиг, но управляемый вручную.

Пакеты НС R не использую, но не исключаю в дальнейшем. Работаю с другой средой.