Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3157

Новый комментарий
 
Получается как про слона и мудрецов. В книге все есть, они требуют на пальцах сделать пересказ на форуме, чтобы понять, что это слон.
 
Aleksey Nikolayev #:

Там, в статье, на 10-й странице есть реализация в виде псевдокода. На предпоследней странице, в приложении, есть ссылки на реализацию на языке R и на данные, использованные в статье.

Псевдокод ссылается на формулы :)

Что касается кода на R - тут спасибо - пропустил. Я так понимаю, что там в виде кода функции, но сам код, такой как чтение из файла, закомментирован?

# --- Read in data --- 

# > arson = read.csv("arson.csv")
# > i = with(arson, day <= 731)
# > arson1 = arson[i,]
# > arson2 = arson[!i,]
# > arson2[,"day"] = arson2[,"day"] - 731

Пока не разобрался, как заставить это работать. У Вас получилось?

Aleksey Nikolayev #:

Как, в общих чертах, реализуете деревья решений на mql5? Через массивы или шаблоны?

Ранее не делал реализацию построения деревьев на MQL5 - тут больше опыта у Forester.

Однако, думаю, что кроме массивов использовал бы вектора и матрицы - с ними код быстрей получается. Ещё, раз требуется там полный перебор, как я понял, можно будет использовать OpenCL.

А вот что такое "шаблоны" в данном контексте - я не знаю :(

Раз есть код на R, то разумно в начале понять, есть в этом всём смысл или нет.

Выборка из статьи использует малое количество предикторов, у меня их на порядок больше и конечно они менее информативные по отдельности.

Вообще, мне интересно использования не просто для сравнения двух выборок, а для детекции аномалии в данных - думаю, что по этому пути надо идти.

Идея в том, что имеем группы листьев, пусть даже похожих, и если мы видим аномальное поведение одного предиктора, то просто отключаем все листья, которые его используют, при этом проверяем на корреляцию с листьями из группы. По идеи, при своевременной детекции, это позволит модели продолжить работу, пусть и с меньшей уверенностью.

 
Работа с пердикторами - это сизифов труд и попытка понять вечную бесконечность. Вы их из одной кривульки уже столько неизвлекали, что хватит потомкам :) Алексей уже расщипил на атомы. Их просто должно быть достаточно. Всегда об этом говорил и мое мнение не изменилось.
 
Aleksey Vyazmikin #:

Псевдокод ссылается на формулы :)

Что касается кода на R - тут спасибо - пропустил. Я так понимаю, что там в виде кода функции, но сам код, такой как чтение из файла, закомментирован?

Пока не разобрался, как заставить это работать. У Вас получилось?

Насколько понимаю, закомментированы команды для работы с R в интерактивной сессии. Сначала загружаете весь скрипт целиком, чтобы определить функции, а потом команды построчно, нажимая ввод после каждой. Это наверно что-то вроде стандарта в научных публикациях - опираться только на командную строку и избегать всяких сред типа Рстудио.

Aleksey Vyazmikin #:

Ранее не делал реализацию построения деревьев на MQL5 - тут больше опыта у Forester.

Однако, думаю, что кроме массивов использовал бы вектора и матрицы - с ними код быстрей получается. Ещё, раз требуется там полный перебор, как я понял, можно будет использовать OpenCL.

А вот что такое "шаблоны" в данном контексте - я не знаю :(

Раз есть код на R, то разумно в начале понять, есть в этом всём смысл или нет.

Выборка из статьи использует малое количество предикторов, у меня их на порядок больше и конечно они менее информативные по отдельности.

Вообще, мне интересно использования не просто для сравнения двух выборок, а для детекции аномалии в данных - думаю, что по этому пути надо идти.

Идея в том, что имеем группы листьев, пусть даже похожих, и если мы видим аномальное поведение одного предиктора, то просто отключаем все листья, которые его используют, при этом проверяем на корреляцию с листьями из группы. По идеи, при своевременной детекции, это позволит модели продолжить работу, пусть и с меньшей уверенностью.

Для краткости обозвал шаблонами одновременно дерево CTree из коллекции данных и шаблоны классов, которые вроде тоже неизбежны.

Детекция аномалий там значится в целях - ищется же где аномально часты пожары.


PS. Когда-то писал уже вам про использование распределения Пуассона, а здесь это развито до рабочего кода.

 
Maxim Dmitrievsky #:
Получается как про слона и мудрецов. В  книге все есть, они требуют на пальцах сделать пересказ на форуме, чтобы понять, что это слон.

надо просто нормально на "высоком уровне" обяснить сначала для чего это все , потом просто по пунктам действия , а ты сразу начал с часностей по "низкому уровню" , с терминов , без всякой структыры..

Никто толком ничего не понял и понять не мог в принцепе..

Это как выйти на сцену и 10 раз сказать абра-кадабра , а потом сказать  - кто не понял читайте книжку

естестевенно никто ничего не понял, естестевенно никто ничего читать не будет..


в R тут по казуалу пакетов штук 100 , я хз вообще куда смотреть.. какай это должен быть кластер алгоритмов?

CRAN Task View: Causal Inference
CRAN Task View: Causal Inference
  • cran.r-project.org
Overview
 
mytarmailS #:

надо просто нормально на "высоком уровне" обяснить сначала для чего это все , потом просто по пунктам действия , а ты сразу начал с часностей по "низкому уровню" , с терминов , без всякой структыры..

Никто толком ничего не понял и понять не мог в принцепе..

Это как выйти на сцену и 10 раз сказать абра-кадабра , а потом сказать  - кто не понял читайте книжку

естестевенно никто ничего не понял, естестевенно никто ничего читать не будет..


в R тут по казуалу пакетов штук 100 , я хз вообще куда смотреть.. какай это должен быть кластер алгоритмов?

Сразу написал, что буду обсуждать материал, поскольку он мне интересен. И написал свои мысли по теме. Очковтирательством заниматься вообще нет желания.
 
Maxim Dmitrievsky #:
Сразу написал, что буду обсуждать материал, поскольку он мне интересен. И написал свои мысли по теме. Очковтирательством заниматься вообще нет желания.

я бы это назвал умением формулировать мысли, и быть последовательным

 
mytarmailS #:

я бы это назвал умением формулировать мысли, и быть последовательным

Я крайне последователен. Чтобы увидеть слона, нужно прочесть. А спрашивать что куда подставить бессмысленно. 

И в книге все написано последовательно. Начиная с того, почему корреляция не является каузацией. И в чем разница. И как быть и что делать.

Почему прогнозирующие модели ассоциативны, как бы вы их не обучали и какие признаки не перебирались бы.
 
Maxim Dmitrievsky #:
Я крайне последователен. Чтобы увидеть слона, нужно прочесть. А спрашивать что куда подставить бессмысленно. 

как раз таки ссмысленно!

в книжке всерано не написано как ты это к рынку применил, а тут по нескольким пунктам можно разобрать и за 20 минут уже тестировать, а не читать неделю непонятно что с непонятным результатом

 
Обсуждение - это когда ты прочел и хочешь теперь обсудить. Я же не прошу вас объяснять мне вашу муть, которой занимаетесь.

Если ты хочешь только изрыгнуть свое негодование, как Саныч, то это зря потраченные старания :) как будто для него это какой-то раздражитель, не вписывающийся в его картину мира. И так извергнул из себя и сяк, и все мимо :)
1...315031513152315331543155315631573158315931603161316231633164...3669
Новый комментарий