Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1808

 
Vladimir Perervenko:

Лучше так. Меньше промежуточного ненужного мусора. 

Удачи

Спасибо Владимир, даже не знал что так можно ))  !!  Обожаю R, всегда приятно удивляет!

А когда вы мне покажите как дискретизировать данные и  переносить эту дискретизацию на новые данные?  :)

 

Ну я же вроде дал Вам ссылку на статью. Вот она.

Используется пакет "discretization". 

"Дискретизация — процесс преобразования непрерывной переменной в дискретную, путем разделения ее значения на участки с использованием различных методов определения границ.

Можно выделить две группы методов разделения: количественный, без связи с целевой, и с учетом соответствия диапазонов целевой.

Первая группа методов практически полностью охватывается функцией cut2()::Hmisc. Можно разделить выборку на заранее заданное количество участков, с указанием конкретных границ, поквартильно, с указанием минимального количества примеров в каждом участке, на равночастотные участки.

Вторая группа методов более интересна, так как разделяет переменную на участки, связанные с уровнями целевой. Рассмотрим несколько пакетов, реализующих эти методы.

Discretization. Этот пакет представляет собой набор алгоритмов дискретизации с учителем. Он также может быть сгруппирован в терминах «сверху вниз» или «снизу вверх», реализующих алгоритмы дискретизации. Рассмотрим некоторые из них на примере нашего набора dataSet."

Используем функцию discretization::mdlp(), которая описывает дискретизацию с использованием принципа минимальной длины описания. Эта функция дискретизирует непрерывные атрибуты матрицы данных с использованием критерия энтропии с минимальной длиной описания в качестве правила остановки. Отлично делит, но долго. Для дискретизации тестового набора используем base::findinterval(). В статье есть функции и примеры. Это не единственный пакет для дискретизации. Навсидку : glmdisc, smbinning, cutpointr (для бинарной целевой), woeBinning и другие. Это пакеты в CRAN. Есть неплохой пакет MOB  - инсталировать с Github. Эти я проверял и они работают. Зависит в каком виде Вы хотите получить результат дискретизации (woe, bin, raw...)

Пробуйте. 

Удачи

Глубокие нейросети (Часть II). Разработка и выбор предикторов
Глубокие нейросети (Часть II). Разработка и выбор предикторов
  • www.mql5.com
В предыдущей части статьи мы рассмотрели различные аспекты получения и подготовки входных данных и целевой переменной. Для воспроизведения скриптов этой статьи вам необходимо либо выполнить все скрипты первой части, либо загрузить результат вычислений первой части статьи из приложения в RStudio. 1. Разработка признаков Разработка признаков —...
 
Vladimir Perervenko:

 Зависит в каком виде Вы хотите получить результат дискретизации (woe, bin, raw...)


Понравилось, какой хотите)))) Но это не значит что это правильно) Груууус...........

 
Vladimir Perervenko:

Ну я же вроде дал Вам ссылку на статью. Вот она.

Используется пакет "discretization"

Да нет, не давали :)

Пакеты смотрел разные и статьи читал но что то так и не нашел как с новыми данными работать при дискретизации , наверное плохо смотрел, во всяком случаи спасибо за разъяснения.

 
Vladimir Perervenko:

Ну я же вроде дал Вам ссылку на статью. Вот она.


Статей много, исследование интересное, а есть какое то саммари про практические результаты?
Т.е. на сколько все это работает на реальном рынке?

Vladimir Perervenko
Vladimir Perervenko
  • www.mql5.com
Мы продолжаем строить ансамбли. Теперь к bagging-ансамблю, созданному ранее, добавим обучаемый объединитель — глубокую нейросеть. Одна нейросеть объединяет 7 лучших выходов ансамбля после обрезки. Вторая принимает на вход все 500 выходов ансамбля, обрезает и объединяет их. Нейросети будем строить с Глубокие нейросети (Часть VI). Ансамбль...
 
Evgeny Dyuka:

Статей много, исследование интересное, а есть какое то саммари про практические результаты?
Т.е. на сколько все это работает на реальном рынке?

Работает. Поверите на слово?

Все коды выложены. Создавайте, пробуйте.

Самое важное не модели, хотя и они важны. Важны предикторы и их подготовка(препроцессинг). Чем лучше подготовлены данные, тем проще используемые модели. 

Удачи

 
Vladimir Perervenko:

Работает. Поверите на слово?

Все коды выложены. Создавайте, пробуйте.

Самое важное не модели, хотя и они важны. Важны предикторы и их подготовка(препроцессинг). Чем лучше подготовлены данные, тем проще используемые модели. 

Удачи

Конечно поверю, все внимательно прочитаю и код проанализирую, тем более сейчас делать нечего, времени куча.
Но прежде чем я потрачу на это неделю, можете дать ссылку на кусочек статьи который начинается фразой типа "Вышеописанный метод дает такие результаты на реальном рынке..." и дальше пара графиков или табличка.
 
Evgeny Dyuka:
Конечно поверю, все внимательно прочитаю и код проанализирую, тем более сейчас делать нечего, времени куча.
Но прежде чем я потрачу на это неделю, можете дать ссылку на кусочек статьи который начинается фразой типа "Вышеописанный метод дает такие результаты на реальном рынке..." и дальше пара графиков или табличка.

Ну там практически каждая вторая статья заканчивается тестом на новых данных  

там это тут
Vladimir Perervenko
Vladimir Perervenko
  • www.mql5.com
Мы продолжаем строить ансамбли. Теперь к bagging-ансамблю, созданному ранее, добавим обучаемый объединитель — глубокую нейросеть. Одна нейросеть объединяет 7 лучших выходов ансамбля после обрезки. Вторая принимает на вход все 500 выходов ансамбля, обрезает и объединяет их. Нейросети будем строить с Глубокие нейросети (Часть VI). Ансамбль...
 
mytarmailS:

Ну там практически каждая вторая статья заканчивается тестом на новых данных  

ok, я просто подумал, что есть свод этого всего в конкретный продукт с очевидными результатами (необязательно хорошими)
 
Vladimir Perervenko:

Владимир, а подскажите пожалуйста как в Р можно обучить АМО например не классификации или регрессии , а  чему то более расплывчатому ..

например  максимизировать  прибыль в торговле  или например синтезировать некую опережающую функцию, я не знаю как она должна выглядеть и какие значения она должна принимать , да мне это и не важно, я могу только описать что есть опережение и пусть АМО максимизирует критерий опережения в опережающей функции которую он сам и создал

Как это вообще делается ?  Или это чисто задача оптимизации и АМО тут не причем ?

Evgeny Dyuka:
ok, я просто подумал, что есть свод этого всего в конкретный продукт с очевидными результатами (необязательно хорошими)

Ну это же статьи , это и есть свод в продукт,  информационный продукт :) 

Причина обращения: