Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2827
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
а, ну значит я правильно понял твой первый ответ. никак не проверяется устойчивость к застреванию.
то, про что говоришь "на обучающих ошибка падает а на новых начинает расти", так это не проверка на застревание, а просто критерий останова обучения.
мой вопрос касается про алгоритмы оптимизации, которые тут народ использует для обучения нейронок а не про повышение устойчивости нейронок на новых данных, что является уже вторым этапом. ну а первый то этап вообще никак тут ещё пока не обсуждался))
Ну как бы да, не обсуждался. В нейронках что там самое популярнее - Adam алгоритм оптимизации. Может можешь его как-то протестировать тоже
вот вот, никак не обсуждался.
на практике это означает, что нейронка будет недообученной, то есть, ошибка на новых данных начнет расти раньше, чем если бы использовался более устойчивый к застреваниям AO.
да, посмотрю как нибудь на досуге adam, сделаю тесты
Статьи топ, просто не хватает квалификации что-либо возразить :)
спасибо))
тогда вижу необходимость включить в обзор традиционно используемые с нейронками алгоритмы тоже.
на практике это означает, что нейронка будет недообученной
Ну это отсебятина..
есть разные типы АО, локальная оптимизация и глобальная оптимизация..
локальная это градиенты тот же адам итп.. глобальные это генетика итп..
сети тренируют локальной потому что бысто "весов много"
а глобальным АО тренировать просто не ефективно..
И главное - если тренировать нормальную нейронку , а это около миллиарда весов, глобальным АО , во первых задолбаешся ждать, во вторых ты никак НИКАК НИКАК не сможешь гарантировать что нашел глобальный минимум..
Так что все эти разговоры это профанация чистой воды, СУПЕР НАИВНАЯ вера что те кто создали глубокое обучение не знают о алгоритмах глобальной оптимизации и их свойствах, это на столько очевидно что даже не смешно..
Вы научитесь отличать алгоритмы глобальной оптимизации, от алгоритмов локальной оптимизации, а еще есть дискретная оптимизация , непрерывная оптимизация , многокритериальная оптимизация итп...
И у каждой свои задачи, сваливать все в кучу и что то тестировать это профанация
Ну это отсебятина..
есть разные типы АО, локальная оптимизация и глобальная оптимизация..
локальная это градиенты тот же адам итп.. глобальные это генетика итп..
сети тренируют локальной потому что бысто "весов много"
а глобальным АО тренировать просто не ефективно..
И главное - если тренировать нормальную нейронку , а это около миллиарда весов, глобальным АО , во первых задолбаешся ждать, во вторых ты никак НИКАК НИКАК не сможешь гарантировать что нашел глобальный минимум..
Так что все эти разговоры это профанация чистой воды, СУПЕР НАИВНАЯ вера что те кто создали глубокое обучение не знают о алгоритмах глобальной оптимизации и их свойствах, это на столько очевидно что даже не смешно..
какой ужас.
нет никакого разделения алгоритмов на "локальные" и "глобальные". если алгоритм застревает в одном из локальных экстремумов - это недостаток, а не фича.
есть узкоспециализированные сравнения традиционных AO для нейронок, можете поискать. алгоритмы как правило используют под конкретные задачи, но все без исключения можно сравнивать ко качеству сходимости.
спасибо))
тогда вижу необходимость включить в обзор традиционно используемые с нейронками алгоритмы тоже.
какой ужас.
нет никакого разделения алгоритмов на "локальные" и "глобальные". если алгоритм застревает в одном из локальных экстремумов - это недостаток, а не фича.
Используются алгоритмы градиентного спуска, который вообще, а не для нейронок, и который имеет огромную бороду. Гуглим и не задаем детских вопросов, узнав как градиентный спуск преодолевает разного типа ловушек локальных экстремумов. Этим люди специально занимаются много лет.
Читал когда-то, что если несколько циклов ошибка почти не меняется, т.е. вокруг экстремума крутится, то для проверки не локальный ли он, делается сильный прыжок по параметрам, чтобы выпрыгнуть их этого экстремума. Если он локальный, то к нему на следующих прыжках не вернется, если глобальный, то вернется. Можно повторить несколько раз. В общем исследовать пространство пошире надо.