Сколько нужно учить нейронную сеть, чтобы она начала давать какой-то результат - Общее обсуждение

Lilita Bogachkova 2023.05.25 05:28 #30821

Maxim Dmitrievsky #:
Обычно модели рандомно выдерживают значения, а не подряд.

Да,

X_train, X_val, y_train, y_val = train_test_split(inputs_unique, outputs_unique, test_size=test_size_value,
                                                    random_state=random_state_value)

однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных.
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;

Поэтому я все равно отсеиваю все данные, которые не уникальны.

inputs_unique, indices = np.unique(inputs, axis=0, return_index=True)
outputs_unique = outputs[indices]

Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:

[1,2,3,4,5] [5];

[1,2,3,4,5] [6];

[1,2,3,4,5] [7];

[1,2,3,4,5] [8];

...

Viktor Kudriavtsev 2023.05.27 07:11 #30822

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

Обсуждение статьи "Нейросети это Обсуждение статьи "Нейросети это Обсуждение статьи "Нейросети это

Aleksey Vyazmikin 2023.05.27 10:34 #30823

Viktor Kudriavtsev #:

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

У Вас нет результата и на выборке для обучения?

Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.

Обсуждение статьи "Введение в Автоматическая генерация кода Обсуждение статьи "Машинное обучение

Maxim Dmitrievsky 2023.05.27 13:10 #30824

Viktor Kudriavtsev #:

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.

обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.

Чемпионат Automated Trading Championship Элитные показатели :) Мультитаймфреймовые индикаторы

Maxim Dmitrievsky 2023.05.27 13:21 #30825

Lilita Bogachkova #:

Да,

однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных.
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;

Поэтому я все равно отсеиваю все данные, которые не уникальны.

Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:

[1,2,3,4,5] [5];

[1,2,3,4,5] [6];

[1,2,3,4,5] [7];

[1,2,3,4,5] [8];

...

да вообще какая-то дичь

Viktor Kudriavtsev 2023.05.27 15:18 #30826

Aleksey Vyazmikin #:

У Вас нет результата и на выборке для обучения?

Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.

Да не работает и на обучающей выборке. Просто нигде. А что такое предикторы в данном случае? У автора описано взятие параметров с графика в виде свечей, времени, и 4-х индикаторов. Модель нейронной сети тоже есть.

Нейро сети Нейроторговцы, не проходите мимо Советники на нейросетях, делимся

Viktor Kudriavtsev 2023.05.27 15:21 #30827

Maxim Dmitrievsky #:

а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.

обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.

Автор в конце каждой статьи приводит график и статистику с тестера стратегий. Ну если статистика вымышленная, тогда да....

Aleksey Vyazmikin 2023.05.27 15:28 #30828

Viktor Kudriavtsev #:
Да не работает и на обучающей выборке. Просто нигде. А что такое предикторы в данном случае? У автора описано взятие параметров с графика в виде свечей, времени, и 4-х индикаторов. Модель нейронной сети тоже есть.

Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.

Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.

Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.

тестер Предсказание рынка на основе Какой пример сделать в

Viktor Kudriavtsev 2023.05.27 16:15 #30829

Aleksey Vyazmikin #:

Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.

Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.

Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.

Ну у меня последние статьи (от GoExplore и далее) и с 27 по 35 вроде нормально компилируются и запускаются. Не работали 36-38 это что в тестере обучались. У мена карта от Nvidia GTX 660 ti.

А в чём проблема может быть с моей стороны? У меня совтник компилируется, запускается, процесс обучения (на графике ошибка и прогресс) идёт. А долга это сколько? Автор статей тоже пишет много, надо повторять итерации сбора примеров и обучения, но нигде не пишет никаких хотя бы примерных цифр. К примеру тренировал 500 эпох, начались первые сделки в минус. Ну хоть какая бы конкретика в цифрах. Иначе вообще не понятно, толи много учу и что-то не так, или ещё мало учил и ждать чего либо рано ещё.

Обсуждение реализации советников. Обсуждение статьи "Нейросети это Обсуждение статьи "Нейросети это

Maxim Dmitrievsky 2023.05.28 00:36 #30830

Viktor Kudriavtsev #:
Автор в конце каждой статьи приводит график и статистику с тестера стратегий. Ну если статистика вымышленная, тогда да....

Там очень скромные тесты за короткий период, по ним однозначные выводы нельзя сделать. Если даже на обучающей не работает, значит сильно намудрили :) Сам подход непригоден, поскольку процесс такого обучения сложно контролировать. А если найдете правильную ф-ю контроля (ревордов), то он уже и не нужен.

Я попробовал разные, не удалось получить устойчивые результаты.

И он вычислительно сложнее генетической оптимизации, а по эффективности не лучше. Такое можно вообще делать за 1 итерацию, с аналогичным результатом. Без экспертных знаний в области трейдинга не выйдет ничего путевого.

Вопрос: сдвиг индексов в Советники на нейросетях, делимся Поиск набора индикаторов для

Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3083