Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 879

 
Yuriy Asaulenko:

Я полагаю - единственный не на сегодняшний день, а вообще единственный для МО и НС в конфигурациях разумной сложности. Вначале ограничиваем области применения НС и МО, и уже на этом применяем НС и МО.

А решение задач типа "вообще, все и сразу" - это уже к ИИ.)

Скорее, НС - это обучаемая логика принятия решения. Первоначально и задумывалась как замена таковой в стандартных стратегиях, чтобы не париться с ее написанием.

Ну, все таки "вообще никогда" - слишком сильное утверждение. Таки надеюсь на появление вменяемого квантового компьютера в ближайшие лет 50)) А там может и реальный ИИ))

А так да - текущее развитие процессоров достигло физического предела размещения на плоскости. А в трех измерениях городить все на порядки сложнее.

 
elibrarius:

Целевые - у вас регрессия, а не классификация. Я регрессию забросил пока что. Думаю лучше обучать 2-мя нейросетсями, по числу целевых, но сам экспериментов с регр. мало провел - поэкспериментируйте сами.
Последовательность столбцов не важна, главное указать НС, что это целевые. Последовательность строк  - видимо лучше, чтобы самые свежие данные были в конце (но не обязательно), многие пакеты по умолчанию перемешивают все строки для равномерности обучения. Иначе НС где-то в середине может зайти в тупик (в локальный минимум) и не добраться до свежих данных. Свежие данные (последние 10-20%) можно 2 - 3 раза подать, чтобы сеть получше выучила последние рыночные тенденции - тоже не проверенное мной на практике мнение.
Посмотрите блог топикстартера - там он регрессию обучал, много хороших мыслей. Но в конце он написал, что какую-то ошибку в коде нашел, которая все рез-ты забраковала.

Так что четких и однозначных ответов нету, вот и молчат все)

Как раз я и хочу целевые преобразовать в классификацию! Я так понял, что дерево ест только 0 и 1 (т.е. два логических значения), и в моем случае результаты покупки и продажи нужно разделить по отдельности и обучать(классифицировать?) как отдельные деревья.

Спасибо за ответ! Регрессию я как раз откинул, так-как её абсолютные показатели будут шумом в нестационарной системе, а вот регрессию как логическое решение, к примеру нахождение цены относительно канала, использовать буду.

Про перемешивание данных понятно, но странно, и я так понял, что если мы хотим сообщить НС/ДеревуРешений о прошлых событиях, то надо делать копию предикторов со сдвигом, увеличивая для каждого сдвига глубину на порядок?

 
Aleksey Vyazmikin:

Про перемешивание данных понятно, но странно, и я так понял, что если мы хотим сообщить НС/ДеревуРешений о прошлых событиях, то надо делать копию предикторов со сдвигом, увеличивая для каждого сдвига глубину на порядок?

Зачем еще копию? У вас каждая строка в таблице это и есть те же самые предикторы уходящие в прошлое.

 
Maxim Dmitrievsky:

каких подобных вопросов?

обучать нейросеть ожидаемому профиту нельзя, обучать нужно тем вещам, которые нейросеть должна классифицировать или аппроксимировать, т.е. конкретные действия бай\селл или конкретные состояния рынка

по поводу предикторов, какие лучше а какие нет, никто вам не даст ответа, потому что нужно исследовать их и смотреть как работает ТС, этому вся тема и посвящена, по большей части, но у каждого они свои

по поводу нейросетей 100 раз писалось - можно использовать alglib или R или Python

по поводу обучающей последовательности - не важно какие данные более новые а какие более старые, вам нужно разобраться как работает НС - она минимизирует ошибку для всех случаев в совокупности

основ по нейросетям много на ютупчике и в гугле, здесь это как-то не обсуждается т.к. смысла нет

Я же написал - нужно изучать все с основ, тогда возникнет понимание что и куда, иначе это пустое занятие. 

Полгода назад я сам еще ниче не понимал в них, сейчас более-менее шарю. Перечитана тонна литературы и сотни часов видеороликов, потом начался какой-то синтез знаний. И да, на мои вопросы тоже мало кто отвечал внятно, докапывался сам :)

а у вас вопросы слишком размытые, получается что нужно быть экстрасенсом что бы начать угадывать, потому что нужно соблюсти огромное кол-во деталей что бы что-то заработало, а не взглянуть на табличку и все понять :))

свой вклад в развитие МО на ресурсе я внес в виде 2-х статей, буду ли дальше писать пока не знаю, т.к. там уже началась область священных граалей (шутка)

Почему нельзя обучать точкам входа, где ожидается максимальный профит для покупки или продажи?

Предикторов у меня хватает - потихоньку их загоняю в скрипт. Пока, правда, не ясно хорошие они или плохие в итоге...

По поводу нейросетей - интересовали конкретные названия НС, которые лучше работают с целевыми в виде классификации... А так, пока не смог ещё настроить какой либо пакет нормальный :( Поэтому тестирую в "Deductor Studio Academic" - очень понятный интерфейс, всё на русском языке, есть деревья и нейронка, для новичка выглядит хорошо, но минус в том, что нельзя результаты экспортировать.

Вот не знаю, хороший ли это результат для дерева? Обучалось 50% выборки и тестировалось на 50%


Основы изучаю, перечитал статьи тут, и смотрю лекции по НС, но не всё ж там понятно сходу, а спросить некого...

Спасибо за уделенное внимание.

 
elibrarius:

Зачем еще копию? У вас каждая строка в таблице это и есть те же самые предикторы уходящие в прошлое.

Тогда как же их можно мешать то? Ведь нарушается их последовательность...

А дерево разве смотрит на последовательность?

 
Aleksey Vyazmikin:

Тогда как же их можно мешать то? Ведь нарушается их последовательность...

А дерево разве смотрит на последовательность?

Нарушится в этом и смысл, чтобы избежать попадания в один из локальных минимумов. Впрочем перемешивание не обязательно - возможно обучится и без него; в зависимости от наличия локальных минимумов в ваших данных, и наличия других методов для пропуска лок. минимумов, если они все же есть.

Деревьями не занимаюсь.

 
Aleksey Vyazmikin:

Почему нельзя обучать точкам входа, где ожидается максимальный профит для покупки или продажи?

Предикторов у меня хватает - потихоньку их загоняю в скрипт. Пока, правда, не ясно хорошие они или плохие в итоге...

По поводу нейросетей - интересовали конкретные названия НС, которые лучше работают с целевыми в виде классификации... А так, пока не смог ещё настроить какой либо пакет нормальный :( Поэтому тестирую в "Deductor Studio Academic" - очень понятный интерфейс, всё на русском языке, есть деревья и нейронка, для новичка выглядит хорошо, но минус в том, что нельзя результаты экспортировать.

Вот не знаю, хороший ли это результат для дерева? Обучалось 50% выборки и тестировалось на 50%


Основы изучаю, перечитал статьи тут, и смотрю лекции по НС, но не всё ж там понятно сходу, а спросить некого...

Спасибо за уделенное внимание.

Слишком хорошо - ошибка менее 10%. У вас предикторы не подглядывают в будущее? Обычно такая малая ошибка из за этого и бывает. Или целевая в прошлое? Зигзаги например? Или предсказываете 0 бар и предикторы с Close 0 бара построены.
 
elibrarius:
Нарушится в этом и смысл, чтобы избежать попадания в один из локальных минимумов. Впрочем перемешивание не обязательно - возможно обучится и без него; в зависимости от наличия локальных минимумов в ваших данных, и наличия других методов для пропуска лок. минимумов, если они все же есть.

Деревьями не занимаюсь.

Хорошо, а последовательность(хронология) данных должна быть в файле как представлена - в начале самые новые(2018 год) или наоборот самые старые (2017 год)?

 
Aleksey Vyazmikin:

Хорошо, а последовательность(хронология) данных должна быть в файле как представлена - в начале самые новые(2018 год) или наоборот самые старые (2017 год)?

НС обычно данные с первых строк обрабатывает - т.е. в первых строках старые данные д.б., а свежие в конце, чтобы на них последние шаги обучения делались.
 
elibrarius:
Слишком хорошо - ошибка менее 10%. У вас предикторы не подглядывают в будущее? Обычно такая малая ошибка из за этого и бывает.

По идеи нет - вчера нашел один предиктор, который подглядывал на 1 бар, но у меня целевая не зависит от числа баров прошедших с момента открытия позиции (т.е. зависимость на задается), выход сделал по стоп лоссу, который работает от индикатора.

Все предикторы работают на открытии бара - даже не знаю теперь, как выявить те, что подглядывают - по идеи их значимость должна быть велика?

На картинке этого не наблюдаю...



Причина обращения: