Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 110

 
Yury Reshetov:

Проблема комбинаторного "взрыва" в jPrediction была решена не методом перебора всех возможных комбинаций, а методом последовательного поиска. Суть метода такова:

Предположим, что мы нашли какую-то комбинацию содержащую  N предикторов с максимальной обобщающей способностью, перебрав все возможные комбинации из N и меньшего количества предикторов. Нам необходимо добавить к ней N+1 предиктор. Для этого к уже найденной комбинации добавляем поодиночке предикторы из выборки, которые в комбинацию не вошли и замеряем для них обобщающую способность. Если в процессе такого перебора мы нашли комбинацию с N+1 предикторами, обобщающая способность которой превышает лучшую комбинацию из N предикторов, то можно будет таким же образом подобрать и комбинацию с N+2 предикторами. А если не нашли, то очевидно, что дальше искать нет никакого смысла и алгоритм перебора комбинаций останавливается на лучшей комбинации из N предикторов. В результате чего алгоритм поиска комбинации предикторов для модели останавливается намного раньше, по сравнению с полным перебором всех возможных комбинаций. Дополнительная экономия вычислительных ресурсов происходит за счёт того, что поиск начинается с малого количества предикторов в сторону увеличения этого количества. А чем меньше предикторов нужно для обучения, тем меньше времени и вычислительных мощностей понадобится для построения моделей.

 Здравствуйте Юрий !

Есть вопросы )) по поводу последовательного поиска...

скажем есть у нас 10 предикторов

1, 2, 3, 4, 5, 6, 7, 8, 9, 10 

 зеленая группа предикторов это та группа которая показала самую лучшую обобщающую способность именно к этой группе будут прибавляться другие предикторы N+1

красная группа, ето группа которая показала себя немного хуже чем зеленая и она (красная) уже в переборах участвовать не будет, все переборы уже завязаны на зеленую группу 

Вопрос : что если после всех переборов с другими предикторами по одиночке N+1 окажется что в конечном итоге красная группа имеет больше обобщающей способности,  такое же вполне реально, или я что то недопонял   ????  поясните пожалуйста

 
СанСаныч Фоменко:

Все хорошо кроме пустяка: отсутствует сравнение с другими моделями.

Сравниваем. 

Поддерживаю...   только возьмите в качестве данных котировки а не какие нибудь ирисы 
 
СанСаныч Фоменко:

Все хорошо кроме пустяка: отсутствует сравнение с другими моделями.

Предлагаю сови услуги по сравнению

1. Вы готовите входной экселевский файл, содержащий предикторы и целевую переменную

2. Делаете расчеты

3. Пересылаете входной файл мне

4. Я делаю расчеты по randomforest, ada, SVM

 

Сравниваем. 

Долеко ходить не нужно, вот файл с котировками рынка форекс, средняя обобщающая способность при обучении предиктором решетова от 70% до 80%. Нуссссс...... Ждём вашего результата.

П.с переименуйте файл в ксв 

Файлы:
 
Mihail Marchukajtes:

Долеко ходить не нужно, вот файл с котировками рынка форекс, средняя обобщающая способность при обучении предиктором решетова от 70% до 80%. Нуссссс...... Ждём вашего результата.

П.с переименуйте файл в ксв 

А нельзя ли упаковать?

А нельзя ли увидеть результат? Вообще-то обобщающая способность при обучении - это ни о чем. 

 
mytarmailS:
Поддерживаю...   только возьмите в качестве данных котировки а не какие нибудь ирисы 
Интерес представляют именно оба файла Решетова с результатами работы алгоритма
 
СанСаныч Фоменко:

А нельзя ли упаковать?

А нельзя ли увидеть результат? Вообще-то обобщающая способность при обучении - это ни о чем. 

не могу не согласиться 

 
Mihail Marchukajtes:

Долеко ходить не нужно, вот файл с котировками рынка форекс, средняя обобщающая способность при обучении предиктором решетова от 70% до 80%. Нуссссс...... Ждём вашего результата.

П.с переименуйте файл в ксв 

это что такое? аж целых 71 наблюдение??

как ты вообще проверял обощ способность? 

 
mytarmailS:

это что такое? аж целых 71 наблюдение??

как ты вообще проверял обощ способность? 

А вы всё пытаетесь обуздать рынок на минутках за 5 лет?????? Эти 71 наблюдений, две недели торгов на 5 минутках еслив что...... И только покупка. Так что дерзайте..... Или сдулись???
 
Mihail Marchukajtes:
А вы всё пытаетесь обуздать рынок на минутках за 5 лет?????? Эти 71 наблюдений, две недели торгов на 5 минутках еслив что...... И только покупка. Так что дерзайте..... Или сдулись???

Если говорить без европейского политеса, то пишите полную чушь...

Давайте нормальных два файла, хотя бы 500 наблюдений каждый, а также результаты работы программы. 

 
Mihail Marchukajtes:

средняя обобщающая способность при обучении предиктором решетова от 70% до 80%.

Я уже говорил, эта метрика бесполезна.

Данные случайным образом делятся на 2 примерно равные части, после чего модель обучается только на первой части, и тестируется на обоих сразу. Обобщающая способность в ~75% означает что модель в конце правильно предсказывает 75% от вообще всех имеющихся в файле примеров.
Есть несколько вариантов как модель может достичь 75%:
1) Модель обучилась до точности в 100% на тех данных что были использованы для тренировки, и вообще не справилась с новыми данными из второй части файла, где получила 50% (тоже самое что подбрасывать монетку). В среднем будет как раз 75%. Это очень плохой вариант развития событий, и в торговле всё будет плохо.
2) Модель обучилась до точности в 75% на тренировочных данных, и показала те же 75% на тестовых данных, что в среднем опять 75%. В данной ситуации это самый лучший вариант развития событий, есть шанс что-то заработать.
3) Любой промежуточный вариант между этими двумя.

Ваш вариант скорее всего ближе к первому. Нужно очень сильно полагаться на удачу чтоб торговать с таким результатом, я полагаю что вы ещё не слили депозит только благодаря индикатору который у вас служит главным сигналом (секвента, или как там). Подозреваю что советник просто сделанный на одном этом инидкаторе даст результат не хуже чем индикатор + jPrediction

Причина обращения: