Обсуждение статьи "Глубокие нейросети (Часть VI). Ансамбль нейросетевых классификаторов: bagging" - страница 3

 

Посмотрел разные видео про elmNN, суть в том что модель постепенно добавляет новые скрытые нейроны по одному, высчитывая их веса особыми формулами. Нейронка с одним скрытым слоем может описать функцию любой сложности, так что разрешив алгоритму использовать очень много нейронов в скрытом слое - он может их добавлять пока не достигнет ошибки = 0.

А для борьбы с оверфитом нужно максимальное число нейронов снижать.

 

Вот вам ещё идея о создании ансамбля.

Я заметил у себя что модели с самыми высокими результатами объединённые в ансамбль дают не самый потенциально лучший результат.
В одном эксперименте я был нагенерировавши сотни моделей, и перебором их комбинаций пытался найти лучший ансамбль. В результате такие "лучшие" ансамбли часто содержали в себе и довольно слабые модели, а попытки убрать эти слабые модели или заменить их только ухудшали результат. 
Сейчас я например сначала нахожу лучшую модель которая даёт самый лучший результат. Затем ищу вторую модель, которая в ансамбле с первой даст результат ещё лучше, причом результат этой второй модели (одной без ансамбля) сам по себе мне не интересен. Затем добавляю третью модель, которая в ансамбле с первыми двумя даст ещё лучший результат. Итд. Т.е. мне неважен результат модели когда она сама по себе, мне главное насколько она улучшит ансамбль. Это как бустинг.

 
Dr. Trader:

Вот вам ещё идея о создании ансамбля.

Я заметил у себя что модели с самыми высокими результатами объединённые в ансамбль дают не самый потенциально лучший результат.
В одном эксперименте я был нагенерировавши сотни моделей, и перебором их комбинаций пытался найти лучший ансамбль. В результате такие "лучшие" ансамбли часто содержали в себе и довольно слабые модели, а попытки убрать эти слабые модели или заменить их только ухудшали результат. 
Сейчас я например сначала нахожу лучшую модель которая даёт самый лучший результат. Затем ищу вторую модель, которая в ансамбле с первой даст результат ещё лучше, причом результат этой второй модели (одной без ансамбля) сам по себе мне не интересен. Затем добавляю третью модель, которая в ансамбле с первыми двумя даст ещё лучший результат. Итд. Т.е. мне неважен результат модели когда она сама по себе, мне главное насколько она улучшит ансамбль. Это как бустинг.

Интересный вариант. Как считаете итог в таком ансамбле - как среднее?
Вы вроде писали, что регрессией занимаетесь - тут только среднее подойдет, голосование отпадает.
 

Считаю среднее, да.

 
Интересно, какой результат по прогнозам на форварде?
 
Виктор:
Интересно, какой результат по прогнозам на форварде?

Какая проблема?

Есть котировки, скрипты. Повторите вычисления сдвинув начало набора на 500-1000 баров и получите интересующий Вас результат. 

По моим расчетам после обучения ансамбля с оптимальными параметрами как минимум следующие 750 баров дают хорошее качество классификации. Для справки: 500 баров М15 - одна неделя. Переобучение/переоптимизация занимает около 20-30 минут(зависит от железа и релиза R).

Пример такой проверки приведен в предыдущей статье. 

Удачи

 
Vladimir Perervenko:

Какая проблема?

Есть котировки, скрипты. Повторите вычисления сдвинув начало набора на 500-1000 баров и получите интересующий Вас результат. 

По моим расчетам после обучения ансамбля с оптимальными параметрами как минимум следующие 750 баров дают хорошее качество классификации. Для справки: 500 баров М15 - одна неделя. Переобучение/переоптимизация занимает около 20-30 минут(зависит от железа и релиза R).

Пример такой проверки приведен в предыдущей статье. 

Удачи

У вас в качестве учителя - приращения ZigZag. Функция со множеством монотонных участков. Это не приращения прибылей. Поэтому 70% правильно угаданных направлений не дают понимания о прибыльности и нужно тестировать на котировках.
 
Виктор:
У вас в качестве учителя - приращения ZigZag. Функция со множеством монотонных участков. Это не приращения прибылей. Поэтому 70% правильно угаданных направлений не дают понимания о прибыльности и нужно тестировать на котировках.

Это верно. И ?

 
Учитывая реалии рынка (спреды, комиссии, реквоты ...), точность классификации с ZigZag-ом в качестве целевой, обычно должна быть значительно больше 80%.
 
Belford:
Учитывая реалии рынка (спреды, комиссии, реквоты ...), точность классификации с ZigZag-ом в качестве целевой, обычно должна быть значительно больше 80%.

А как Вы эту цифру определили/вычислили? Если не секрет конечно.