Машинное обучение роботов - страница 5

 
Ivan Negreshniy:

Пробовал конечно и не только я, например в теме по МО, есть такие, кто этим занимался, повторяя мантру о мусоре на входе и видимо забывая, что мусор на формальном выходе при обучении с учителем ничуть не лучше, при этом подбор и перетасовка вектора фичей не спасает от оверфиттинга.

пробую размечать вручную, вопрос а сигналов должно быть поровну те система должна быть переворотная? или отмечать просто входы с логикой?

 И как сеть справляется с нестацыонарностью? и справляется ли вообще например размер одного и того же паттерна может быть как 15 баров так и 150

 
mytarmailS:

пробую размечать вручную, вопрос а сигналов должно быть поровну те система должна быть переворотная? или отмечать просто входы с логикой?

 И как сеть справляется с нестацыонарностью? и справляется ли вообще например размер одного и того же паттерна может быть как 15 баров так и 150

некоторые модели чувствительны к количеству сигналов и требуют выравнивания, другие нет, думаю начать можно со случайных лесов и самописной сетки, которые довольно не прихотливы, а в отношении размера паттерна, можем взять за основу максимум.
 
Ivan Negreshniy:

Теперь по организации и обсуждению экспериментов:

  • Любой желающий - автор создает шаблоны с торговыми сигналами своей стратегии и размещает их в этой ветке.
  • Я обрабатываю шаблоны, создаю советников или индикаторы и размещаю их тут же в скомпилированном виде.
  • Все остальные могут свободно скачивать шаблоны и роботов, тестировать их, а так же давать им свои экспертные оценки.

Зачем так сложно. Можно все сделать гораздо проще.

На истории случайным образом генерируется множество сделок. Многие из них удачные, многие нет. На этом экземпле обучаем систему методами МО. МО само классифицирует и найдет закономерности.

Я это делал на последовательности из ~10 тыс. сделок. Даже простая система с МО прекрасно обучается и на тесте показывает около 80-85% удачных сделок. Что для простой МО уже оч. странно, т.к. она просто не в состоянии запомнить такое количество сделок - единственное объяснение этому, что МО действительно находит и обобщает какие-то закономерности.

Да, но все эти чудеса наблюдаются только на обучающей последовательности.)

 
Yuriy Asaulenko:

Зачем так сложно. Можно все сделать гораздо проще.

На истории случайным образом генерируется множество сделок. Многие из них удачные, многие нет. На этом экземпле обучаем систему методами МО. МО само классифицирует и найдет закономерности.

Я это делал на последовательности из ~10 тыс. сделок. Даже простая система с МО прекрасно обучается и на тесте показывает около 80-85% удачных сделок. Что для простой МО уже оч. странно, т.к. она просто не в состоянии запомнить такое количество сделок - единственное объяснение этому, что МО действительно находит и обобщает какие-то закономерности.

Да, но все эти чудеса наблюдаются только на обучающей последовательности.)

Ну да, на обучающей при полном оверфиттинге м.б. и 100%, но задача не запомнить, а обобщить и добиться результатов на форварде.

Поэтому в эксперименте и предлагается обучать не на случайных или всех возможных, прибыльных сделках, а на сделках(сигналах) отфильтрованных из показаний какого нибудь из индикаторов.

Таким образом все сигналы уже будут содержать формализованную зависимость с ВР, а нейросети останется ее определить и установить закономерность исключения плохих, не вошедших в выборку сигналов.

 
Yuriy Asaulenko:

Зачем так сложно. Можно все сделать гораздо проще.

На истории случайным образом генерируется множество сделок. Многие из них удачные, многие нет. На этом экземпле обучаем систему методами МО. МО само классифицирует и найдет закономерности.

Я это делал на последовательности из ~10 тыс. сделок. Даже простая система с МО прекрасно обучается и на тесте показывает около 80-85% удачных сделок. Что для простой МО уже оч. странно, т.к. она просто не в состоянии запомнить такое количество сделок - единственное объяснение этому, что МО действительно находит и обобщает какие-то закономерности.

Да, но все эти чудеса наблюдаются только на обучающей последовательности.)

ваши познания в МО до сих пор стремятся к нолю, к сожалению

поэтому ваша внутренняя нейросеть пока не может придти к консенсусу: а для чего это вообще нужно
 
Maxim Dmitrievsky:

ваши познания в МО до сих пор стремятся к нолю, к сожалению

поэтому ваша внутренняя нейросеть пока не может придти к консенсусу: а для чего это вообще нужно

Не надо так волноваться, Максим.)) Все и так знают, что круче вас только яйца.

 
Ivan Negreshniy:

Ну да, на обучающей при полном оверфиттинге м.б. и 100%, но задача не запомнить, а обобщить и добиться результатов на форварде.

Поэтому в эксперименте и предлагается обучать не на случайных или всех возможных, прибыльных сделках, а на сделках(сигналах) отфильтрованных из показаний какого нибудь из индикаторов.

Таким образом все сигналы уже будут содержать формализованную зависимость с ВР, а нейросети останется ее определить и установить закономерность исключения плохих, не вошедших в выборку сигналов.

При размерности обучающей выборки много больше размерности НС переобучение практически нереально.

На малых выборках переобучение достигается на счет раз. Допустим, вам дали 200 реальных сделок.

 
Yuriy Asaulenko:

При размерности обучающей выборки много больше размерности НС переобучение практически нереально.

На малых выборках переобучение достигается на счет раз. Допустим, вам дали 200 реальных сделок.

Это зависит от данных, параметров и типа модели, например в деревьях к-во уровней наращивается динамически, как и в моей сети к-во нейронов, правда есть ограничение условной плотности информации, но оно определяется только по обучающей выборке, можно делать обрезку, комитеты и.т.д.

И переобучение, это не обязательно запоминание всех сэмплов, это просто запоминание их без обобщения, например при наличии противоречивой информации, которая замещается и не м.б. усреднена.

 
Ivan Negreshniy:

Это зависит от данных, параметров и типа модели, например в деревьях к-во уровней наращивается динамически, как и в моей сети к-во нейронов, правда есть ограничение условной плотности информации, но оно определяется только по обучающей выборке, можно делать обрезку, комитеты и.т.д.

И переобучение, это не обязательно запоминание всех сэмплов, это просто запоминание их без обобщения, например при наличии противоречивой информации, которая замещается и не м.б. усреднена.

А почему-бы для эксперимента не сделать так: качаем из Маркета какую-либо супер-пупер стратегию, прогоняем ее в тестере (мы-ж верим тестеру)), и результаты подаем на НС, РФ, СВМ или че другое. И ждать не надо - пробуем на демо и любуемся результатом.

 
Yuriy Asaulenko:

А почему-бы для эксперимента не сделать так: качаем из Маркета какую-либо супер-пупер стратегию, прогоняем ее в тестере (мы-ж верим тестеру)), и результаты подаем на НС, РФ, СВМ или че другое. И ждать не надо - пробуем на демо и любуемся результатом.

Так нельзя же, закомпиленый с защитой модератор потрет т.к. надо исходник, а исходник потрет т.к. надо защищать права продавца - замкнутый круг получается:))

Но тут нечему удивляться, ведь с правовым статусом роботов разных профессий и в объектной среде, пока что беда...

Причина обращения: