Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 608

 
Dr. Trader:

похоже просто на ансамбль из НС

если не ошибаюсь

 
Dr. Trader:

Потом подбираем параметры модели (активационная функция, число слоёв и их размеры итд) каждый раз делаем все эти шаги (обучить 5 моделей, предсказать 5 кусков уникальных для каждой модели, объединить их, R2), добиваясь всё более лучшей оценки.

Это же сотни сетей построить и обучить надо! Но пока другого варианта не видно(

 
toxic:

Я думаю если написать ему и предложить штуку баксов в час, то можно индивидуальные уроки взять у Перчика, Перепёлкин выйдет немного дороже, но оно того стоит


блин, вы серьезно про перчика? жесть )

платить штукарь засланному водиле-разводиле

про второго вообще ничего не знаю.. и знать не хочу )

короче все это интересно, но спать пора и дочитывать книжки на этой неделе

 
Maxim Dmitrievsky:

похоже просто на ансамбль из НС

если не ошибаюсь

В конце получится обычный ансамбль, да. Но результат будет гораздо лучше чем по сравнению с "просто обучить 5 нейронок на всей табличке".


Vizard_:

Ну да, стандартный вариант, хотя предпочитаю без кв, писал уже...
Док, попробуй фиксануть крутизну с разными параметрами и тестануть.

У меня LibreOffice, в нём не заработала та нейронка.


elibrarius:

Это же сотни сетей построить и обучить надо! Но пока другого варианта не видно(

Поэтому я люблю пакет gbm в R например, скорость его обучения на порядки выше. Это не нейронка, это леса и бустинг.

Ещё интересно что k-fold кроссвалидация у меня неплохо получалась и с небольшим числом эпох обучения нейронки. Число эпох было одним из параметров обучения который я подбирал. Небольшое число эпох = быстрое обучение, в этом плюс. Но возможная точность модели ниже, это минус. 

 
Dr. Trader:

Советую научиться k-fold кроссвалидацию. Я видел несколько разных способов, вот этот работает хорошо -

...


Ещё есть нюанс что начальные веса нейронки выставляются рандомно, и от этого может очень зависеть конечный результат обучения, в том числе и для леса и других моделей. 
Каждый раз перед обучением модели я устанавливаю значение генератора случайных чисел в одно и то-же состояние:

set.seed(12345)

Таким образом получаю воспроизводимость результата и стабильность. Значение зерна гпсч можно тоже подбирать вместо 12345, что хоть и довольно забавно звучит, но порой необходимо.

 
Dr. Trader:

Ещё есть нюанс что начальные веса нейронки выставляются рандомно, и от этого может очень зависеть конечный результат обучения, в том числе и для леса и других моделей. 
Каждый раз перед обучением модели я устанавливаю значение генератора случайных чисел в одно и то-же состояние:

Таким образом получаю воспроизводимость результата и стабильность. Значение зерна гпсч можно тоже подбирать вместо 12345, что хоть и довольно забавно звучит, но порой необходимо.



Выкиньте свою сеть в мусорку, раз она так реагирует на значения гпсч. Нормальная сеть работает и обучается при любых начальных значениях, даже при нулевых.


 
Sergey Chalyshev:

Если той нейронке дать много нейронов и слоёв и бесконечные эпохи обучения то она без проблем обучится до нужной точности с любым начальным зерном.

Я например учусь предсказывать прирост цены за бар. Проблема в том что в ценах много шума (настоящая цена +- какие-то рандомые сдвиги), а предсказать шум невозможно. Зато можно с помощью кроссвалидации подобрать параметры при которых модель ещё не начнёт запоминать шум, но уже кое-как обобщит эти данные и будет правильно прогнозировать хотя-бы в небольшом проценте случаев. И при некоторых начальных значениях весов модель сразу начинает запоминать шум вместо того чтоб пытаться как-то обобщить эти данные, это плохо, и тогда следует поискать другое начальное зерно для инициализации весов.

 
Sergey Chalyshev:


Выкиньте свою сеть в мусорку, раз она так реагирует на значения гпсч. Нормальная сеть работает и обучается при любых начальных значениях, даже при нулевых.



это просто еще одна экспликация того, что нельзя использовать статические методы в динамических системах

я тоже использую сетсид, любая МОшка сильно флюктуирует от раза к разу, по крайней мере по остаткам это заметно

 

Ну поехали теперь рассматривать архитектуры для обучения на временных рядах а не на картинках котиков, вариант раз:

 

Вариант 2:

ну то есть совмещение НС и автоматов видится хорошим решением, с положительными и отрицательнми обр. связями, а кто и как будет это реализовывать - другой вопрос. Лично для меня такой подход самый очевидный