Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 718

 

А вот пакет lime (имеется в R).


Вот как объясняется его принцип отбора.

The general approach lime takes to achieving this goal is as follows:

  1. For each prediction to explain, permute the observation n times.
  2. Let the complex model predict the outcome of all permuted observations.
  3. Calculate the distance from all permutations to the original observation.
  4. Convert the distance to a similarity score.
  5. Select m features best describing the complex model outcome from the permuted data.
  6. Fit a simple model to the permuted data, explaining the complex model outcome with the m features from the permuted data weighted by its similarity to the original observation.
  7. Extract the feature weights from the simple model and use these as explanations for the complex models local behavior.

ПС.

Замечу, что оба пакета определяют влияние предиктора на ПРОГНОЗ, а не его важность при построении модели, которая считается черным ящиком. 

Understanding lime
  • Thomas Lin Pedersen & Michaël Benesty
  • cran.r-project.org
The following is a simple example which seeks to explain the outcome of a model classifying sentences from 30 scientific papers as being about (or not) the author’s own work, e.g. methods, results or conclusions. Most of the things written for can be applied to textual data. We will test our model on test data. Now we are sure that the model...
 

Пользуюсь пакетом vreat для отбора предикторов и понимаю я это следующим образом. Так... мысли вслух....

Этот пакет определяет важность предикторов и те предикторы которые имеют максимальную оценку (условно), те и считаются важными. При предобработке данных и получении результата R говорит лишь о том, что между данным набором предикторов и выходной переменной есть, как скрытые так и явные зависимоста. Тоесть он лишь говорит о том что зависимости есть, а уже поиском этих зависимостей занимается Оптимизатор.

R- говорит зависимость есть, Оптимизатор- говорит. Да, вот эти зависимости...... Как то так....

 

Привет!

Ребята, а когда суппер бот с ИИ закончите?

Так ждать и состаришься ))

 
Alexander Ivanov:

Привет!

Ребята, а когда суппер бот с ИИ закончите?

Так ждать и состаришься ))

Что значит закончите??? Вы думаете что создал ИИ и руки в брюки... иди гуляй......??? Так что ли???

ИИ требует еженедельного ухода за собой, а также ежедневного контроля его работы. Лично у меня все коды уже закончены и отшлифованны. Теперь занимаюсь лишь обучением и тестированием полученных моделей. Как то так...

 
Mihail Marchukajtes:

Что значит закончите??? Вы думаете что создал ИИ и руки в брюки... иди гуляй......??? Так что ли???

ИИ требует еженедельного ухода за собой, а также ежедневного контроля его работы. Лично у меня все коды уже закончены и отшлифованны. Теперь занимаюсь лишь обучением и тестированием полученных моделей. Как то так...

нет, ИИ это личность и не хочет что бы его контролировали

 
Maxim Dmitrievsky:

нет, ИИ это личность и не хочет что бы его контролировали

Ну любую личность во время ее роста и формирования кто-то контролировал. Родители, учителя и т.д. и т.п., так что пока эта личность не достигла ответственного отношения к тому, для чего она предназначается. Контролировать ее обязательно, а то лишат родительских прав

 
Konstantin Nikitin:

Ну любую личность во время ее роста и формирования кто-то контролировал. Родители, учителя и т.д. и т.п., так что пока эта личность не достигла ответственного отношения к тому, для чего она предназначается. Контролировать ее обязательно, а то лишат родительских прав

Тем более что он бывает таким проказником что оставлять его без присмотра нельзя. Век живи, век учись. Получается что пока будет существовать ИИ, он будет постоянно сидеть за партой, сколь угодно умным бы он не был.... ИМХО

 
Konstantin Nikitin:

Ну любую личность во время ее роста и формирования кто-то контролировал. Родители, учителя и т.д. и т.п., так что пока эта личность не достигла ответственного отношения к тому, для чего она предназначается. Контролировать ее обязательно, а то лишат родительских прав

мы лишком тупы для них, а они совершенны.. мы создадим их и вымрем

 
Mihail Marchukajtes:

... Лично у меня все коды уже закончены и отшлифованны. Теперь занимаюсь лишь обучением и тестированием полученных моделей. Как то так...

Можно ли где-нибудь увидеть результат работы "законченных и отшлифованных" кодов? Как они работают в результате обучения и тестирования? Что-то типа myfxbook мониторинга?

 
Alexander Sevastyanov:

Можно ли где-нибудь увидеть результат работы "законченных и отшлифованных" кодов? Как они работают в результате обучения и тестирования? Что-то типа myfxbook мониторинга?

К сожалению нет. Я тренирую модели каждую неделю. Статистика моего сигнала удручает, потому как есть огромная разница между тестами и реальной торговлей. Не в расхождениях результатов, а в нюансах реалтайма.

Кстати, почемуто стал писать ошибку что индикатор слишком медленный и просит его переписать.

Может ктонить скинуть кусочек кода для индикатора, когда нужно расчитать его не за весь период, а за 100 баров последних и потом уже пересчитывать по одному бару, у меня сейчас стоит вот так, но чувствую что это не правильно...

   if(prev_calculated>rates_total || prev_calculated<=0)// проверка на первый старт расчёта индикатора
     {
      limit=100; // стартовый номер для расчёта всех баров
        }else{
      limit=rates_total-prev_calculated; // стартовый номер для расчёта новых баров
     }