Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2744

 
Valeriy Yastremskiy #:

Если в признаках есть время, связанное с другими признаками, так более понятно. Но про типы признаков он не сказал)))

Ну 180 каких-то потолочных признаков, наверное на базе приращений. Короче че гадать.
 
Maxim Dmitrievsky #:
А если внимательно читать, то можно увидеть засаду в п.2, т.е. изначальную подгонку под историю. Поэтому у него ошибка обучения падает 


а стат.-тесты для коэфициентов ур-я регрессии для чего? или проверка гипотез о равенстве средних и дисперсий? (если PCA всё-таки покажет, что 1st PC объясняет приемлемую нами долю дисперсии [остаточная дисперсия оч. мала] - то и принять его и проверить на подтверждение значимости коэфициентов регр)...

в идеале -- понятное дело, что, чтобы иметь 100%-ную вероятность, надо не корреляционные связи использовать, а функциональные -- но если изучаем стохастический процесс, то и результаты будут лишь вероятностные и подтверждаемые лишь на большом количестве тестовых данных и лишь до того момента, пока в рынке не появится новый Driver... [тут, кстати осведомленность фактическая/логическая тоже очень важна, не только робастный анализ]

подгонка под историю всегда есть, пока опираемся на исторические данные... но сравнить дисперсии всегда можно F-статистикой -- если уменьшение дисперсии значительно превосходит оставшуюся необъяснённую дисперсию, то выделяется новое ур. регр. (с др SLOPE)... и действует тоже лишь до момента в будущем и лишь на больших числах... ну или переключать state у actor'a (если DL использовать)... но driver лучше знать, чем ждать, пока для его подтверждения насобирается выборка на настоящий момент.

Feature Engineering если  сделать логичный, вы правильно заметили - "теоретически" логичный (под любой стат обработкой есть земные физически-логические законы и человеческие знания, не из воздуха паттерны сваливаются) -- [но может у кого-то и незнания] -- то и FS в процессе моделирования не будет очень сильно утруждать ни модельку, ни разработчика... а без истории никуда не деться, чтобы знать, что и когда стало driver'ом, а что нет, - тоже много ума в высшей математике не надо, только понимание законов денежного и товарного рынка, частного и гос. секторов (а это уже не ВМ), а то так и будем аппаратом прикладной высшей математики (ВМ) лишь "а-посля" узнавать о том, что новость, изменившая мир, уже когда-то прозвучала... просто реакция, и рынка в том числе, обычно с лагом идёт

p.s.

кому слова и буквы неизвестны, да не читайте вы в конце-то концов неизвестную тему из неизвестных букв, чтобы к буквам не цепляться, - ищите аппарат ВМ для вашей FS... если потом ещё и докажете стат. валидность ваших результатов, а не только %% попадания-в-точку (кстати не всегда несмещённую)), то и разговоры будут другие... а пока да, терминология у каждого своя...

 
JeeyCi #:


а стат.-тесты для коэфициентов ур-я регрессии для чего? или проверка гипотез о равенстве средних и дисперсий? (если PCA всё-таки покажет, что 1st PC объясняет приемлемую нами долю дисперсии [остаточная дисперсия оч. мала] - то и принять его и проверить на подтверждение значимости коэфициентов регр)...

в идеале -- понятное дело, что, чтобы иметь 100%-ную вероятность, надо не корреляционные связи использовать, а функциональные -- но если изучаем стохастический процесс, то и результаты будут лишь вероятностные и подтверждаемые лишь на большом количестве тестовых данных и лишь до того момента, пока в рынке не появится новый Driver... [тут, кстати осведомленность фактическая/логическая тоже очень важна, не только робастный анализ]

подгонка под историю всегда есть, пока опираемся на исторические данные... но сравнить дисперсии всегда можно F-статистикой -- если уменьшение дисперсии значительно превосходит оставшуюся необъяснённую дисперсию, то выделяется новое ур. регр. (с др SLOPE)... и действует тоже лишь до момента в будущем и лишь на больших числах... ну или переключать state у actor'a (если DL использовать)... но driver лучше знать, чем ждать, пока для его подтверждения насобирается выборка на настоящий момент.

Feature Engineering если  сделать логичный, вы правильно заметили - "теоретически" логичный (под любой стат обработкой есть земные физически-логические законы и человеческие знания, не из воздуха паттерны сваливаются) -- [но может у кого-то и незнания] -- то и FS в процессе моделирования не будет очень сильно утруждать ни модельку, ни разработчика... а без истории никуда не деться, чтобы знать, что и когда стало driver'ом, а что нет, - тоже много ума в высшей математике не надо, только понимание законов денежного и товарного рынка, частного и гос. секторов, а то так и будем аппаратом прикладной высшей математики лишь "а-посля" узнавать о том, что новость, изменившая мир, уже когда-то прозвучала... просто реакция, и рынка в том числе, обычно с лагом идёт

p.s.

кому слова и буквы неизвестны, да не читайте вы в конце-то концов неизвестную тему из неизвестных букв, чтобы к буквам не цепляться, - ищите аппарат ВМ для вашей FS... если потом ещё и докажете стат. валидность ваших результатов, а не только %% попадания-в-точку (кстати не всегда несмещённую)), то и разговоры будут другие... а пока да, терминология у каждого своя...

Все началось с того, что люди захотели кооп )) начали разбираться, выяснилось что все отрицают все, что делают другие. Плюс выдумывают новые определения. По итогу никто ничего не понял. Мне в целом нравится подход Саныча, поэтому спросил конкретики. И с обозначениями тоже беда, что есть отношение и связь, если не корреляционная.

Очевидно, что он лелеет своё ноу-хау и не раскрывает подробностей.
 
Maxim Dmitrievsky #:
Все началось с того, что люди захотели кооп )) начали разбираться, выяснилось что все отрицают все, что делают другие. Плюс выдумывают новые определения. По итогу никто ничего не понял. Мне в целом нравится подход Саныча, поэтому спросил конкретики. И с обозначениями тоже беда, что есть отношение и связь, если не корреляционная.

Очевидно, что он лелеет своё ноу-хау и не раскрывает подробностей.

В моём представлении существует два типа связи.

Первый - причинно-следственная, которая определяется по априорной информации об объекте исследования из знаний в данной предметной области, а не по каким-то вычислениям.

Второй тип - вероятностная зависимость, которая может быть вычислена апостериорно по каким-то данным полученным при наблюдении за поведением объекта. Во второй тип входит и корреляция, и детерминированная зависимость (как крайний случай) и тд и тп, включая описываемую копулами и прочими методами. Основа для изучения этого типа - предположение о существовании совместного распределения для предикторов и целевой.

 
Aleksey Nikolayev #:

В моём представлении существует два типа связи.

Первый - причинно-следственная, которая определяется по априорной информации об объекте исследования из знаний в данной предметной области, а не по каким-то вычислениям.

Второй тип - вероятностная зависимость, которая может быть вычислена апостериорно по каким-то данным полученным при наблюдении за поведением объекта. Во второй тип входит и корреляция, и детерминированная зависимость (как крайний случай) и тд и тп, включая описываемую копулами и прочими методами. Основа для изучения этого типа - предположение о существовании совместного распределения для предикторов и целевой.

Верно. За отсутствием априорных предположений, используется второй тип. Интересно как Саныч это видит. Например, как строятся целевые, их же можно просто подогнать под любой признак и наоборот.

Мой подход полностью заточен под такие манипуляции, наверное можно что-то улучшить.
 
mytarmailS #:

Есть РСА с учетом целевой, он выделит компоненты которые характеризуют целевую,

он никогда этого не сделает - он не учитывает связи с целевой!! - просто создаст ортогональную проекцию в признаковом пространстве, объясняющую максимум дисперсии... (я вот только не уверена, надо ли ротацию делать ручками [вроде в пакете Statistika что-то об этом было - какая-то кнопка] или он сам разберётся автоматически - в др. библиотеках, может, ротация уже и заложена)


mytarmailS #:

но печаль в том что целевая это субьективная переменная и она "поплвет" сразу как закончиться трейн... да и чем это тогда отличаеться от обычного обучения с учителем..

да, печаль - у вас свои трактовки предназначения этого метода и свои способы и цели его применения... я не знаю, чем он может вам помочь с такими взглядами на него... - поэтому меня тоже больше спрашивать не надо
 
JeeyCi #:
1)он никогда этого не сделает - он не учитывает связи с целевой!! - просто создаст проекцию в признаковом пространстве, объясняющую максимум дисперсии... (я вот только не уверена, надо ли ротацию делать ручками [вроде в пакете Statistika что-то об этом было - какая-то кнопка] или он сам разберётся автоматически - в др. библиотеках, может, ротация уже и заложена)


2)да, печаль - у вас свои трактовки предназначения этого метода и свои способы и цели его применения... я не знаю, чем он может вам помочь с такими взглядами на него... - поэтому меня тоже больше спрашивать не надо

1) Я говорю о том что есть рса которые учитывают целевую

2) Я ничего не спрашивал, я утверждал

 

mytarmailS #:

1) Я говорю о том что есть рса которые учитывают целевую

2) Я ничего не спрашивал, я утверждал

это уже алгоритмы искусственно завязать PCs на целевую - разные алгоритмы (программно реализованные иногда даже по-разному в разных библиотеках)... с таким же успехом можно и PLS использовать... как вы связываете целевую с признаками - ваше личное дело, это не делает суть PCA ="с учителем" (учитель привязывается отдельно - по сути - любым способом, который вам нравиться) -- опять отрываемся от сути и упираемся в тему "на вкус и цвет..." (библиотеки)

я даже не уверена, что вы сами знаете, делает ли ваша библиотека ротацию или вам самому её надо кодить... поэтому непроверенные и неполные/не-точные утверждения никому здесь не интересны, особенно когда они изменяют смыслы и суть явлений/объектов, после чего вы кричите, что вам слова не понятны... вы, видимо, даже в своих словах точно не разобрались

 
JeeyCi #:

я даже не уверена, что вы сами знаете, делает ли ваша библиотека ротацию или вам самому её надо кодить...

судить по себе не надо

(я вот только не уверена, надо ли ротацию делать ручками [вроде в пакете Statistika что-то об этом было - какая-то кнопка] или он сам разберётся автоматически - в др.

JeeyCi #:

 поэтому непроверенные и неполные/не-точные утверждения никому здесь не интересны

А если не уверена, то и утверждать ничего нету права  что проверено. что нет, кому интересно ,кому нет....   если с головой конечно  порядок


пс  А есть ли ротация в матрице легко проверить если есть понимание, но видимо с этим беда..

 

вот и проверяйте прежде, чем на людей кидаться,

- если с 1-го раза не понятны просьбы свои гуриные/не-точные тональности изливать в свой код и свои результаты, а не искать крайних

Причина обращения: