Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3083

 
Maxim Dmitrievsky #:
Обычно модели рандомно выдерживают значения, а не подряд.

Да,

X_train, X_val, y_train, y_val = train_test_split(inputs_unique, outputs_unique, test_size=test_size_value,
                                                    random_state=random_state_value)

однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных. 
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;

Поэтому я все равно отсеиваю все данные, которые не уникальны. 

inputs_unique, indices = np.unique(inputs, axis=0, return_index=True)
outputs_unique = outputs[indices]

Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:

[1,2,3,4,5] [5];

[1,2,3,4,5] [6];

[1,2,3,4,5] [7];

[1,2,3,4,5] [8];

...

 

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

 
Viktor Kudriavtsev #:

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

У Вас нет результата и на выборке для обучения?

Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.

 
Viktor Kudriavtsev #:

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.

обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.
 
Lilita Bogachkova #:

Да,

однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных. 
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;

Поэтому я все равно отсеиваю все данные, которые не уникальны. 

Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:

[1,2,3,4,5] [5];

[1,2,3,4,5] [6];

[1,2,3,4,5] [7];

[1,2,3,4,5] [8];

...

да вообще какая-то дичь

 
Aleksey Vyazmikin #:

У Вас нет результата и на выборке для обучения?

Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.

Да не работает и на обучающей выборке. Просто нигде. А что такое предикторы в данном случае? У автора описано взятие параметров с графика в виде свечей, времени, и 4-х индикаторов. Модель нейронной сети тоже есть.
 
Maxim Dmitrievsky #:

а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.

обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.
Автор в конце каждой статьи приводит график и статистику с тестера стратегий. Ну если статистика вымышленная, тогда да....
 
Viktor Kudriavtsev #:
Да не работает и на обучающей выборке. Просто нигде. А что такое предикторы в данном случае? У автора описано взятие параметров с графика в виде свечей, времени, и 4-х индикаторов. Модель нейронной сети тоже есть.

Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.

Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.

Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.
 
Aleksey Vyazmikin #:

Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.

Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.

Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.

Ну у меня последние статьи (от GoExplore и далее) и с 27 по 35 вроде нормально компилируются и запускаются. Не работали 36-38 это что в тестере обучались. У мена карта от Nvidia GTX 660 ti.

А в чём проблема может быть с моей стороны? У меня совтник компилируется, запускается, процесс обучения (на графике ошибка и прогресс) идёт. А долга это сколько? Автор статей тоже пишет много, надо повторять итерации сбора примеров и обучения, но нигде не пишет никаких хотя бы примерных цифр. К примеру тренировал 500 эпох, начались первые сделки в минус. Ну хоть какая бы конкретика в цифрах. Иначе вообще не понятно, толи много учу и что-то не так, или ещё мало учил и ждать чего либо рано ещё.

 
Viktor Kudriavtsev #:
Автор в конце каждой статьи приводит график и статистику с тестера стратегий. Ну если статистика вымышленная, тогда да....
Там очень скромные тесты за короткий период, по ним однозначные выводы нельзя сделать. Если даже на обучающей не работает, значит сильно намудрили :) Сам подход непригоден, поскольку процесс такого обучения сложно контролировать. А если найдете правильную ф-ю контроля (ревордов), то он уже и не нужен.
Я попробовал разные, не удалось получить устойчивые результаты.

И он вычислительно сложнее генетической оптимизации, а по эффективности не лучше. Такое можно вообще делать за 1 итерацию, с аналогичным результатом. Без экспертных знаний в области трейдинга не выйдет ничего путевого.