Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1843

 

Знаете мне вот тут мысль пришла на днях.

Качество выложенного мною видео оставляет желать лучшего, но судя по просмотрам никому не интересны высокие материи и научный обоснования. Всем интересно смотреть на красивую тёлочу которая пол часа распинается про отмену самоизоляции в парке Горького. Она буквально на глазах за сутки набрала 500 000 просмотров против моих 70-ти. Вывод: Научные темы нынче не входу. Главное красивая мордашка и приятный голос, а что там с ИИ так и в обще никому не интересно. Печаль :-(

 
elibrarius:

Хочу со всеми посоветоваться.
В пакете Darch нашел такой вариант оценки модели:
Считаем ошибку на трэйн и на ооб участках.
Потом итоговую ошибку считаем как
err = oob_error * comb_err_tr + train_err * (1 - comb_err_tr);

На мой взгляд, обучение надо контролировать по среднему значению показателей полноты и точности по всей выборке, разбив выборку на окна по, допустим 10%-20%. Сам я листья отбираю таким методом, но учитываю ещё финансовый результат.

 
Mihail Marchukajtes:

Знаете мне вот тут мысль пришла на днях.

Качество выложенного мною видео оставляет желать лучшего, но судя по просмотрам никому не интересны высокие материи и научный обоснования. Всем интересно смотреть на красивую тёлочу которая пол часа распинается про отмену самоизоляции в парке Горького. Она буквально на глазах за сутки набрала 500 000 просмотров против моих 70-ти. Вывод: Научные темы нынче не входу. Главное красивая мордашка и приятный голос, а что там с ИИ так и в обще никому не интересно. Печаль :-(

Никому не нужна правда, Миша )) Все хотят красивых иллюзий

тебе не обязательно самому быть красивой соской - создай у зрителя представление об этом, включи его воображение, а уже потом режь правду-матку ))

только стук отбойного молотка на фоне напрягает )

 
Maxim Dmitrievsky:

Никому не нужна правда, Миша )) Все хотят красивых иллюзий

тебе не обязательно самому быть красивой соской - создай у зрителя представление об этом, включи его воображение, а уже потом режь правду-матку ))

только стук отбойного молотка на фоне напрягает )

Ну да, со звуком буду решать отдельно...
 
Aleksey Vyazmikin:

На мой взгляд, обучение надо контролировать по среднему значению показателей полноты и точности по всей выборке, разбив выборку на окна по, допустим 10%-20%. Сам я листья отбираю таким методом, но учитываю ещё финансовый результат.

Это кросс валидация. Или еще можно валкинг - форвард, чтобы проверочный набор был всегда позже тренировочного.
Давайте уточним терминологию:
- точность, вы имеете в виду стандартное Accuracy (доля правильно классифицированных примеров)
- полнота. Это число примеров/размер выборки для обучения? Как ее выбирать? Подбором?

 
elibrarius:

Это кросс валидация. Или еще можно валкинг - форвард, чтобы проверочный набор был всегда позже тренировочного.

Важно проверять на устойчивость сигнала на протяжении всей выборки, а не смотреть на итоговый показатель - методы могут быть разные, один из них я вкратце описал.

elibrarius:

Давайте уточним терминологию:
- точность, вы имеете в виду стандартное Accuracy (доля правильно классифицированных примеров)
- полнота. Это число примеров/размер выборки для обучения? Как ее выбирать? Подбором?

Precision - точность и Recall - полнота. Эти показатели важны, если больше одного класса, и если сигнальным является один класс из множества. К примеру при тройной классификации - покупать(1)/ждать(0)/продавать(-1) или на поиск волатильности - будет сильное(1) движение или слабое(0). Если в логике два класса равнозначны, то смысл этих показателей размывается немного.

Метрики в задачах машинного обучения
Метрики в задачах машинного обучения
  • habr.com
В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста. В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так. Метрики в задачах...
 

Ну что там Максимка? Читал что то? есть резы?

Немного улучшил подход, результат тоже получше стал..  Все  входы показали + :))


Но есть проблемы..

1) сигналов мало

2) модель умирает со временем


Но все же мне кажется я начал что то понимать в этом чертовом рынке, а значит прорыв не за горами ))

 
Aleksey Vyazmikin:

Важно проверять на устойчивость сигнала на протяжении всей выборки, а не смотреть на итоговый показатель - методы могут быть разные, один из них я вкратце описал.

Precision - точность и Recall - полнота. Эти показатели важны, если больше одного класса, и если сигнальным является один класс из множества. К примеру при тройной классификации - покупать(1)/ждать(0)/продавать(-1) или на поиск волатильности - будет сильное(1) движение или слабое(0). Если в логике два класса равнозначны, то смысл этих показателей размывается немного.

Спасибо. Я пользовался Precision, называя (для себя) его Accuracy для класса. Буду называть общепринятыми терминами теперь).
А в целом Precision можно считать основной метрикой при наличии класса "ждать". Ошибки по Precision - это прямые убытки от неправильной классификации.
А Recall - означает упущенная прибыль, т.е. мы ждали вместо того, чтобы действовать.
В итоге нужно максимизировать F1, который найдет лучшее значение при минимуме ошибок предсказания и минимуме упущенной прибыли.
 
mytarmailS:

Ну что там Максимка? Читал что то? есть резы?

Немного улучшил подход, результат тоже получше стал..  Все  входы показали + :))


Но есть проблемы..

1) сигналов мало

2) модель умирает со временем


Но все же мне кажется я начал что то понимать в этом чертовом рынке, а значит прорыв не за горами ))