Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 393
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Всем привет!!!! Рад что ветка не угасла и продолжает место быть, а посему у меня вопрос к публике. У меня есть датасет для обучения, но к сожалению он стал таким большим что обучение проходит слишком долго. Кто нибудь может построить модель с помощью своих наработок, а мы потом вместе посмотрим как она отработает!!!!!.
Попробуйте оставить входы (по порядку от 0, 0 это 1-й столбец)
0,4,50,53,59,61,64,92,98,101,104,
Получилось посчитать урезаную часть датасета, вот результат работы сети вне выборки, правда пришлось отзеркалить модель полностью.
Это работа с 05.29 по моему вполне не плохо.
Попробуйте оставить входы (по порядку от 0, 0 это 1-й столбец)
0,4,50,53,59,61,64,92,98,101,104,
В чём преимущество оптимизатора в том что он удаляет не нужные столбцы. Поэтому считает жуть как долго. Но я сейчас попробую оптимизировать полный датасет который выкладывал, но с учётом Ваших рекомендаций и потом посмотрим каков будет результат вне выборки. ок?
В чём преимущество оптимизатора в том что он удаляет не нужные столбцы. Поэтому считает жуть как долго. Но я сейчас попробую оптимизировать полный датасет который выкладывал, но с учётом Ваших рекомендаций и потом посмотрим каков будет результат вне выборки. ок?
Ну отлично!!! Зарядил обучение. с учётом того что столбцов стало значительно меньше, думаю посчитает быстро, как что, результат работы выложу :-)
Так и есть, первое обучение привело к 55% обобщающей способности.
Как ни странно, но с этими входами модель тоже нужно переворачивать и тогда на том же участке можно получить вот такую эквити
Она немного похуже, но тоже имеет место быть.
Эх запустить бы полностью весь датасет на оптимизаторе. Думаю тогда и столбцов было бы выбрано больше и уровень обобщениея быб бы больше, отсуда и качество работы сети на участке вне выборке...
Ну отлично!!! Зарядил обучение. с учётом того что столбцов стало значительно меньше, думаю посчитает быстро, как что, результат работы выложу :-)
Так и есть, первое обучение привело к 55% обобщающей способности.
Обычный MLP 11-5-1 дает:
Средняя ошибка на обучающем (60.0%) участке =0.057 (5.7%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Средняя ошибка на валидационном (20.0%) участке =0.038 (3.8%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Средняя ошибка на тестовом (20.0%) участке =0.023 (2.3%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Что за 55% обобщающей способности?
Обычный MLP 11-5-1 дает:
Средняя ошибка на обучающем (60.0%) участке =0.057 (5.7%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Средняя ошибка на валидационном (20.0%) участке =0.038 (3.8%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Средняя ошибка на тестовом (20.0%) участке =0.023 (2.3%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Даже и не знаю что ответить. Разве что привести пример из отчёта. Результатом оптимизации бывает вот такая штука, а как её интерпретировать тут уж какждый сам горазд, но когда заканчивается оптимизация результат выглядет следующим образом.
* Sensitivity of generalization abiliy: 55.12820512820513%
* Specificity of generalization ability: 55.5045871559633%
* Generalization ability: 55.309734513274336%
* TruePositives: 129
* FalsePositives: 105
* TrueNegatives: 121
* FalseNegatives: 97
* Total patterns in out of samples with statistics: 452
Красным выделил общий результат обобщающей способности. Первый это процент угадывания единичек, второй процент угадывания нулей, третий общий.
Даже и не знаю что ответить. Разве что привести пример из отчёта. Результатом оптимизации бывает вот такая штука, а как её интерпретировать тут уж какждый сам горазд, но когда заканчивается оптимизация результат выглядет следующим образом.
* Sensitivity of generalization abiliy: 55.12820512820513%
* Specificity of generalization ability: 55.5045871559633%
* Generalization ability: 55.309734513274336%
* TruePositives: 129
* FalsePositives: 105
* TrueNegatives: 121
* FalseNegatives: 97
* Total patterns in out of samples with statistics: 452
Красным выделил общий результат обобщающей способности. Первый это процент угадывания единичек, второй процент угадывания нулей, третий общий.
Я тоже свой велосипед делаю, но основываясь на десятилетиями проверенном MLP (который, как говорят - устарел, и надо на чем-то более крутом работать). Так что я за велосипеды, может у вас где-то в коде ошибка в логике? Я у себя уже несколько нашел, пока тестил разные варианты. В том числе решил задачу из первого поста этой темы. Но эти же фильтры, которые отсекли лишнее в вашей задаче - отсекают нужное в той ((. Вот думаю, что надо через веса входов делать отсев, поле прогона на полных данных.
MLP получается в 95% случаев угадывает... мне кажется вы не правильный велосипед делаете) Без обид.
Я тоже свой велосипед делаю, но основываясь на десятилетиями проверенном MLP (который, как говорят - устарел, и надо на чем-то более крутом работать). Так что я за велосипеды, может у вас где-то в коде ошибка в логике? Я у себя уже несколько нашел, пока тестил разные варианты.
Дело в том что я не програмлю. Этот оптимизатор был написан не мною, я всего лишь им пользуюсь, так или иначе указанные Вами входа дают 55 процентов обобщения что является лучше чем угадывание, отсюда и видим результат работы вне выборки с положительным профитом. Единственное что меня сейчас останавливает это то что модель нужно зеркалить, тогда набирает, а если прямая модель, то сливает...
Но вот если запустить оптимизатор на всех входах, то думаю что модель будет гораздо сложнее и выберет он больше входов. И работать такая модель по теории должна лучше и дольше. Но вот запустить оптимизатор на полный датасет не смогу, думаю он месяц его счиатть будет. Так что надежда на запуск оптимизатора на ГПУ, там и посмотрим.
Дело в том что я не програмлю. Этот оптимизатор был написан не мною, я всего лишь им пользуюсь, так или иначе указанные Вами входа дают 55 процентов обобщения что является лучше чем угадывание, отсюда и видим результат работы вне выборки с положительным профитом. Единственное что меня сейчас останавливает это то что модель нужно зеркалить, тогда набирает, а если прямая модель, то сливает...
Но вот если запустить оптимизатор на всех входах, то думаю что модель будет гораздо сложнее и выберет он больше входов. И работать такая модель по теории должна лучше и дольше. Но вот запустить оптимизатор на полный датасет не смогу, думаю он месяц его счиатть будет. Так что надежда на запуск оптимизатора на ГПУ, там и посмотрим.
А ГПУ вариант особо не ждите, переписывать код мн кажется дольше и если автор не сделал, то вряд ли кто другой дотянет эту задачу до конца.