Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3505

 
Aleksey Vyazmikin #:

Речь идёт о стандартных метриках оценки сплита и термин относительно их используется, так как сопоставляется мой подход и общепринятый - не нужно выдирать из контекста. Такое ощущение, что хочется чего то найти в форме, а содержание совсем не интересно.

Придание общепринятым терминам самопальных значений сильно снижает возможность понимания содержания.

Получается, а) используется прореживание возможных точек для сплитов (квантование), б) на прореженном в пункте (а) наборе точек для сплитов строится дерево по кастомному критерию "устойчивости" (это самое тёмное место, наверное действительно правильнее называть это кластеризацией), в) полученные в пункте (б) "устойчивые" точки для сплитов используются в катбусте для построения итоговой рабочей модели.


 
Maxim Dmitrievsky #:
Схему я понял.

Судя по этому утверждению " А не вытаскивая бордеры сплитов или чего там из обученного катбуста. " - нет.

Maxim Dmitrievsky #:
Квантовые отрезки - это кластеры данных.

Если в одном измерении кластеризация, то - да, можно так сказать  .

Maxim Dmitrievsky #:
Потом вы делаете кластеризацию уже имеющихся кластеров, получаются типа ветки и листья.

Где я так делаю?

Maxim Dmitrievsky #:
Уже писал, что это иерархическая кластеризация

Уже писал про ряд недостатков такого метода...

Maxim Dmitrievsky #:
потому что алгоритм построения почти один и тот же.

Можете изложить алгоритм, что берём и какие операции совершаем? Вдруг, действительно, так, как Вы и говорите - алгоритмы могут быть разными, из тех что я смотрел - похожего не приметил, но всё просмотреть не мог явно.

Maxim Dmitrievsky #:
можете делать свои дальнейшие умозаключения

Спасибо.

 
Aleksey Nikolayev #:
Придание общепринятым терминам самопальных значений сильно снижает возможность понимания содержания.

Там термин общепринятый. Вы же его перенесли на максимум моей кастомной ФФ для отбора - как бы она там не выражалась - т.е. сами расширили понятие, которое в контексте деревянных моделей ограничено в рамках общепринятых понятий. Даже не это удивляет, а желание это выявить и обсудить...

Aleksey Nikolayev #:

Получается, а) используется прореживание возможных точек для сплитов (квантование), б) на прореженном в пункте (а) наборе точек для сплитов строится дерево по кастомному критерию "устойчивости" (это самое тёмное место, наверное действительно правильнее называть это кластеризацией), в) полученные в пункте (б) "устойчивые" точки для сплитов ипользуются в катбусте для построения итоговой рабочей модели.

Понимание процесса у Вас значительно улучшилось. В (б) отбираются все кандидаты по ряду критериев (смещение вероятности и число активаций - число примеров в выборке), выбор из отобранных для сплита делается по дополнительному критерию. Для катбуста составляется квантовая таблица по отобранным на разных итерациях квантовых отрезках из пункта б. Там есть варианты.

 
Aleksey Vyazmikin #:

Там термин общепринятый. Вы же его перенесли на максимум моей кастомной ФФ для отбора - как бы она там не выражалась - т.е. сами расширили понятие, которое в контексте деревянных моделей ограничено в рамках общепринятых понятий. Даже не это удивляет, а желание это выявить и обсудить...

Не буду ввязываться в споры, просто рекомендую почитать хотя бы вики про жадные алгоритмы. Деревья всегда строятся по жадным алгоритмам.

Aleksey Vyazmikin #:
Понимание процесса у Вас значительно улучшилось. В (б) отбираются все кандидаты по ряду критериев (смещение вероятности и число активаций - число примеров в выборке), выбор из отобранных для сплита делается по дополнительному критерию. Для катбуста составляется квантовая таблица по отобранным на разных итерациях квантовых отрезках из пункта б. Там есть варианты.
Спасибо за коплимент. Действительно пункт (б) самый тёмный, хотя бы потому что используется многокритериальная оптимизация. Пожалуй, здесь моё любопытство заканчивается.
 
Aleksey Vyazmikin #:

Судя по этому утверждению " А не вытаскивая бордеры сплитов или чего там из обученного катбуста. " - нет.

Если в одном измерении кластеризация, то - да, можно так сказать  .

Где я так делаю?

Уже писал про ряд недостатков такого метода...

Можете изложить алгоритм, что берём и какие операции совершаем? Вдруг, действительно, так, как Вы и говорите - алгоритмы могут быть разными, из тех что я смотрел - похожего не приметил, но всё просмотреть не мог явно.

Спасибо.

Вам нужно внимательно прочесть все определения, какие есть методы анализа данных и уже определиться. Квантизация к таким не относится.

Поскольку вы сами не можете определиться что вы делаете, я не хочу дальше вникать в кашу.
 
Aleksey Nikolayev #:

Не буду ввязываться в споры, просто рекомендую почитать хотя бы вики про жадные алгоритмы. Деревья всегда строятся по жадным алгоритмам.

Вот об этом я и пишу - что принцип жадного выбора не оптимален, так как ухудшает выбор на последующих шагах.

Условия применимости

Общего критерия оценки применимости жадного алгоритма для решения конкретной задачи не существует, однако для задач, решаемых жадными алгоритмами, характерны две особенности: во-первых, к ним применим Принцип жадного выбора, а во-вторых, они обладают свойством Оптимальности для подзадач.

Принцип жадного выбора

Говорят, что к оптимизационной задаче применим принцип жадного выбора, если последовательность локально оптимальных выборов даёт глобально оптимальное решение. В типичном случае доказательство оптимальности следует такой схеме:

  1. Доказывается, что жадный выбор на первом шаге не закрывает пути к оптимальному решению: для всякого решения есть другое, согласованное с жадным выбором и не хуже первого.
  2. Показывается, что подзадача, возникающая после жадного выбора на первом шаге, аналогична исходной.
  3. Рассуждение завершается по индукции.
 
Maxim Dmitrievsky #:
Вам нужно внимательно прочесть все определения, какие есть методы анализа данных и уже определиться. Квантизация к таким не относится.

Поскольку вы сами не можете определиться что вы делаете, я не хочу дальше вникать в кашу.

Вы думали, что понимаете мой труд, но оказалось, что только это себе придумали. Иногда надо приложить больше усилий, что бы понять как всё устроено - это не функции из библиотеки вызывать.

 
Aleksey Vyazmikin #:

Вы думали, что понимаете мой труд, но оказалось, что только это себе придумали. Иногда надо приложить больше усилий, что бы понять как всё устроено - это не функции из библиотеки вызывать.

😀😀😀 с телками проще общаться 
Я понимаю ваш «труд» лучше вас, потому что вы даже код пишете не сами. Разберитесь хотя бы с определениями, если хотите о чем-то пообщаться. 

Пока не будет нормальных определений, разговор дальше не пойдет.
 
Maxim Dmitrievsky #:
😀😀😀 с телками проще общаться 
Я понимаю ваш «труд» лучше вас, потому что вы даже код пишете не сами. Разберитесь хотя бы с определениями, если хотите о чем-то пообщаться. 

Пока не будет нормальных определений, разговор дальше не пойдет.

Зачем мне бессмысленный разговор с человеком, который искажает факты, не хочет понимать других, который думает, что знает...

Нет, я сожалею, что потратил кучу времени расшаркиваясь тут в объяснениях - нет тут слушателей.

 
Aleksey Vyazmikin #:

Зачем мне бессмысленный разговор с человеком, который искажает факты, не хочет понимать других, который думает, что знает...

Нет, я сожалею, что потратил кучу времени расшаркиваясь тут в объяснениях - нет тут слушателей.

Это к вам в бОльшей степени относится. Опять подмена понятий.
Причина обращения: