Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2833

[Maxim Dmitrievsky]

Aleksey Nikolayev #:

Было бы интересно в исследовательских целях (хоть это и весьма сложно) сделать через кастомную функцию потерь. Возможность для этого есть (если кинуло в начало страницы, то нужно найти в самом низу раздел User-defined loss function).

Попробуем попозже 

[mytarmailS]

Aleksey Nikolayev #:

Было бы интересно в исследовательских целях (хоть это и весьма сложно) сделать через кастомную функцию потерь. Возможность для этого есть (если кинуло в начало страницы, то нужно найти в самом низу раздел User-defined loss function).

У меня с xgboost'ом не получилось...

Вернее получилось но обучение не пошло,  там с градиентами надо хорошо подружиться, те нужно делать фитнес функцию градиентной,  с генетикой намного проще

[Aleksey Nikolayev]

mytarmailS #:
У меня с xgboost'ом не получилось...

Вернее получилось но обучение не пошло,  там с градиентами надо хорошо подружиться, те нужно делать фитнес функцию градиентной,  с генетикой намного проще

Да, в этом вся сложность. Нужно посчитать градиент и матрицу вторых производных - гессиан. Ещё гессиан наверняка должен быть положительно определённым.

Для прибыли, например, гессиан вырождается вроде (равен нулю). Надо как-то изощряться, подкручивая функцию потерь до разумного компромисса между потребностью и необходимостью.

[СанСаныч Фоменко]

Andrey Dik #:

1. моя фамилия не склоняется

2. вопрос не в том что глобальный изменится или нет (изменится обязательно), а в том, что может ли вообще находить глобальный экстремум. если вам всё равно, то можете просто инициальзировать веса сети случайными числами и всё на этом, ведь какая вообще разница, глобальный... локальный.))

1. На счет фамилии учту. Вы единственный знакомый с такой фамилией.

2. Хотелось бы возразить, что не надо доводить мысль до абсурда, но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а нужно устойчивое состояние, причем в будущем. Поэтому получается, что поиск оптимумов - это вредное занятие.

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

[Aleksey Vyazmikin]

СанСаныч Фоменко #:

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

Можете прислать свою выборку? У нас одинаковое виденье проблемы плохого обучения моделей, хочется сравнить на сколько Ваш метод отбора лучше моего, и вообще подходит ли под Вашу выборку.

[Maxim Dmitrievsky]

Что предлагается подставить вместо логлосса?

[mytarmailS]

Aleksey Nikolayev #:

Да, в этом вся сложность. Нужно посчитать градиент и матрицу вторых производных - гессиан. Ещё гессиан наверняка должен быть положительно определённым.

Для прибыли, например, гессиан вырождается вроде (равен нулю). Надо как-то изощряться, подкручивая функцию потерь до разумного компромисса между потребностью и необходимостью.

вот тут  как я понял  гессиан вообще не учитываеться

# Custom objective function (squared error)
myobjective <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  grad <- (preds-labels)    
  hess <- rep(1, length(labels))                
  return(list(grad = grad, hess = hess))
}

# Custom Metric
evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- (preds-labels)^2        
  return(list(metric = "MyError", value = mean(err)))   
}

работает просто на уменьшение градиента

grad <- (preds-labels)   

А тут уже по другому

logregobj <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  preds <- 1 / (1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  return(list(grad = grad, hess = hess))
}

Помню намучился я с этим, так и забросил

Но было бы круто тренировать свои фитки))

[mytarmailS]

СанСаныч Фоменко #:

 но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а 

А функция которая оценивает "на сколько плато/на сколько не плато" это не поиск максимума ?

А функция которая оценивает "чем прибыльнее тем лучше"  -  это не поиск максимума ?

А функция которая оценивает " чем обширнее, тем лучше "  -  это не поиск максимума ?

А функция по оценке "устойчивое/не устойчивое состояние" -  это не поиск максимума ?

Или тебе там тоже плато надо? )))) ну тогда смотри пункт первый ))))

ОХ уж эти профаны...

СанСаныч Фоменко #:

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

Мысль надо не проталкивать, а доказывать или хотябы обосновывать...

Тут был один, проталкивал мысль что машка это самое лучшее что может быть, и толку с этих проталкиваний??????

[Maxim Dmitrievsky]

Еще круче было бы включить недостающий орган и подумать какую связь может описать профит фактор между фичами и метками. Примерно никакую 🤤

[Andrey Dik]

СанСаныч Фоменко #:

1. На счет фамилии учту. Вы единственный знакомый с такой фамилией.

2. Хотелось бы возразить, что не надо доводить мысль до абсурда, но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а нужно устойчивое состояние, причем в будущем. Поэтому получается, что поиск оптимумов - это вредное занятие.

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

1. v

2. вот рисунок, типа кривая какой то гипотетической функции обучения

вас устроит, что сетка остановится на локальном экстремуме 1? а может быть 2? или какой, 3, типа посередине? так не известно заранее сколько их там локальных экстремумов, их может быть 100500 а может и больше. Поэтому важно стремление найти наивысший из всех локальных, до которых алгоритм в состоянии добраться.