Обсуждение статьи "Глубокая нейросеть со Stacked RBM. Самообучение, самоконтроль" - страница 8

 
elibrarius:
Как объем добавляли? Просто объем свечи?

Реальный или тиковый?

В моих экспериментах объем ничего не дал.

Я имею ввиду биржевые объемы, а не тики

Ниже приведу два примера, жаль, что нет длинных исторических данных.

СимволEURUSD (Euro vs US Dollar)
Период4 Часа (H4) 2019.02.01 00:00 - 2019.03.19 23:59 (2019.02.01 - 2019.03.20)
МодельПо ценам открытия (только для советников с явным контролем открытия баров)

#1


#2


#1


Баров в истории1199Смоделировано тиков1396Качество моделированияn/a
Ошибки рассогласования графиков0
Начальный депозит10000.00СпредТекущий (59)
Чистая прибыль159.34Общая прибыль159.34Общий убыток-0.00
ПрибыльностьМатожидание выигрыша17.70
Абсолютная просадка13.19Максимальная просадка34.65 (0.34%)Относительная просадка0.34% (34.65)
Всего сделок9Короткие позиции (% выигравших)5 (100.00%)Длинные позиции (% выигравших)4 (100.00%)
Прибыльные сделки (% от всех)9 (100.00%)Убыточные сделки (% от всех)0 (0.00%)
Самая большаяприбыльная сделка32.50убыточная сделка-0.00
Средняяприбыльная сделка17.70убыточная сделка-0.00
Максимальное количествонепрерывных выигрышей (прибыль)9 (159.34)непрерывных проигрышей (убыток)0 (-0.00)
Макс.непрерывная прибыль (число выигрышей)159.34 (9)непрерывный убыток (число проигрышей)-0.00 (0)
Среднийнепрерывный выигрыш9непрерывный проигрыш0

#2

Баров в истории1199Смоделировано тиков1396Качество моделированияn/a
Ошибки рассогласования графиков0
Начальный депозит10000.00СпредТекущий (59)
Чистая прибыль25.44Общая прибыль161.03Общий убыток-135.59
Прибыльность1.19Матожидание выигрыша3.63
Абсолютная просадка150.30Максимальная просадка202.61 (2.02%)Относительная просадка2.02% (202.61)
Всего сделок7Короткие позиции (% выигравших)4 (75.00%)Длинные позиции (% выигравших)3 (100.00%)
Прибыльные сделки (% от всех)6 (85.71%)Убыточные сделки (% от всех)1 (14.29%)
Самая большаяприбыльная сделка88.14убыточная сделка-135.59
Средняяприбыльная сделка26.84убыточная сделка-135.59
Максимальное количествонепрерывных выигрышей (прибыль)4 (52.31)непрерывных проигрышей (убыток)1 (-135.59)
Макс.непрерывная прибыль (число выигрышей)108.72 (2)непрерывный убыток (число проигрышей)-135.59 (1)
Среднийнепрерывный выигрыш3непрерывный проигрыш1


prev.bar для markovchain = 10-50

bars = 180-700

epochas = 50

probability = 0.8

 
Ilya Kosarev:

Я имею ввиду биржевые объемы, а не тики

Где Вы черпаете информацию о биржевых объемах?

 
Ilya Kosarev:

Я имею ввиду биржевые объемы, а не тики

Ниже приведу два примера, жаль, что нет длинных исторических данных.

СимволEURUSD (Euro vs US Dollar)
Период4 Часа (H4) 2019.02.01 00:00 - 2019.03.19 23:59 (2019.02.01 - 2019.03.20)
МодельПо ценам открытия (только для советников с явным контролем открытия баров)

#1


#2


#1


Баров в истории1199Смоделировано тиков1396Качество моделированияn/a
Ошибки рассогласования графиков0
Начальный депозит10000.00СпредТекущий (59)
Чистая прибыль159.34Общая прибыль159.34Общий убыток-0.00
ПрибыльностьМатожидание выигрыша17.70
Абсолютная просадка13.19Максимальная просадка34.65 (0.34%)Относительная просадка0.34% (34.65)
Всего сделок9Короткие позиции (% выигравших)5 (100.00%)Длинные позиции (% выигравших)4 (100.00%)
Прибыльные сделки (% от всех)9 (100.00%)Убыточные сделки (% от всех)0 (0.00%)
Самая большаяприбыльная сделка32.50убыточная сделка-0.00
Средняяприбыльная сделка17.70убыточная сделка-0.00
Максимальное количествонепрерывных выигрышей (прибыль)9 (159.34)непрерывных проигрышей (убыток)0 (-0.00)
Макс.непрерывная прибыль (число выигрышей)159.34 (9)непрерывный убыток (число проигрышей)-0.00 (0)
Среднийнепрерывный выигрыш9непрерывный проигрыш0

#2

Баров в истории1199Смоделировано тиков1396Качество моделированияn/a
Ошибки рассогласования графиков0
Начальный депозит10000.00СпредТекущий (59)
Чистая прибыль25.44Общая прибыль161.03Общий убыток-135.59
Прибыльность1.19Матожидание выигрыша3.63
Абсолютная просадка150.30Максимальная просадка202.61 (2.02%)Относительная просадка2.02% (202.61)
Всего сделок7Короткие позиции (% выигравших)4 (75.00%)Длинные позиции (% выигравших)3 (100.00%)
Прибыльные сделки (% от всех)6 (85.71%)Убыточные сделки (% от всех)1 (14.29%)
Самая большаяприбыльная сделка88.14убыточная сделка-135.59
Средняяприбыльная сделка26.84убыточная сделка-135.59
Максимальное количествонепрерывных выигрышей (прибыль)4 (52.31)непрерывных проигрышей (убыток)1 (-135.59)
Макс.непрерывная прибыль (число выигрышей)108.72 (2)непрерывный убыток (число проигрышей)-135.59 (1)
Среднийнепрерывный выигрыш3непрерывный проигрыш1


prev.bar для markovchain = 10-50

bars = 180-700

epochas = 50

probability = 0.8

7 сделок маловато для статистической значимости. У меня при 500 сделках и выше уровень ошибка падает к 50%. А 7 удачных сделок - регулярно случаются, но потом случаются и неудачные.
 
elibrarius:
7 сделок маловато для статистической значимости. У меня при 500 сделках и выше уровень ошибка падает к 50%. А 7 удачных сделок - регулярно случаются, но потом случаются и неудачные.

Справедливо, но я не могу сравнить адекватно биржевые и не биржевые данные, нет длинной  истории. Если скажите, где добыть и как загрузить в тестере биржевые данные, буду признателен.

 
Renat Akhtyamov:

Где Вы черпаете информацию о биржевых объемах?

Отсюда беру за 30 дней.

ClusterDelta.com - биржевой аналитический портал. Практическая торговля на финансовых рынках на основе биржевой информации.
ClusterDelta.com - биржевой аналитический портал. Практическая торговля на финансовых рынках на основе биржевой информации.
  • clusterdelta.com
Теперь все индикаторы работают как для MetaTrader 4 так и для MetaTrader 5 Вашему вниманию предлагается обновление пакета индикаторов Premium до версии 4.1. В нем Вы найдете мелкие фиксы старых версий индикаторов, а также индикаторы были доработаны для динамичной смены серверов в случае повышенной нагрузки или отказа в обслуживании одного из...
 
Ilya Kosarev:

Справедливо, но я не могу сравнить адекватно биржевые и не биржевые данные, нет длинной  истории. Если скажите, где добыть и как загрузить в тестере биржевые данные, буду признателен.

я тоже с кластердельты. Там данные в файлах есть за несколько лет.
 

Долгие (история > 8 лет) и многочисленные (> 500) тестирования дали мне понимание одной вещи, которая очень важна для нейросети.

1. Обязательно проверяйте ваши ВХОДНЫЕ сигналы на предмет УНИКАЛЬНОСТИ связки входных и целевых значений.

1.1 Если у вас несколько входных, то уникальны ли они по отдельности с целевым значением.

1.2 Если невозможно сделать уникальную связку, то делайте агрегацию из нескольких.

-например

цена открытия целевое значение

1.456 -1

1.567 -1

1.500 1

1.456 1

Выделил жирным, какие значения нельзя подавать на вход нейронной сети. Если они распределены в выборке 50/50, то ничего хорошего не выйдет. Стремитесь к полной уникальности значений для -1 (SELL) и 1 (BUY).

2. В стратегии эксперта не закладывайте мартингейл для тестирования на "дальних расстояниях". Если это делайте, то как следует просчитайте шаг/дельту для пары.

3. Используйте отложенные ордера, если это возможно

4. Постоянный мониторинг глобальных параметров мне не помог. Может я не научился, это правильно использовать.


Далее примеры с учетом уникальности входных сигналов и целевых значений


2007.10.01 00:00 - 2019.03.29 23:59 (2007.10.01 - 2019.04.01)

H4

EURUSD

#1

Баров в истории 18859 Смоделировано тиков 36718 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (10)
Чистая прибыль 7495.01 Общая прибыль 13207.17 Общий убыток -5712.16
Прибыльность 2.31 Матожидание выигрыша 11.92
Абсолютная просадка 122.92 Максимальная просадка 3307.85 (24.15%) Относительная просадка 24.15% (3307.85)
Всего сделок 629 Короткие позиции (% выигравших) 541 (94.64%) Длинные позиции (% выигравших) 88 (78.41%)
Прибыльные сделки (% от всех) 581 (92.37%) Убыточные сделки (% от всех) 48 (7.63%)
Самая большая прибыльная сделка 578.55 убыточная сделка -636.27
Средняя прибыльная сделка 22.73 убыточная сделка -119.00
Максимальное количество непрерывных выигрышей (прибыль) 97 (1630.70) непрерывных проигрышей (убыток) 3 (-7.24)
Макс. непрерывная прибыль (число выигрышей) 1782.49 (44) непрерывный убыток (число проигрышей) -917.25 (2)
Средний непрерывный выигрыш 15 непрерывный проигрыш 1


#2


Баров в истории 18859 Смоделировано тиков 36718 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (10)
Чистая прибыль 7495.01 Общая прибыль 13207.17 Общий убыток -5712.16
Прибыльность 2.31 Матожидание выигрыша 11.92
Абсолютная просадка 122.92 Максимальная просадка 3307.85 (24.15%) Относительная просадка 24.15% (3307.85)
Всего сделок 629 Короткие позиции (% выигравших) 541 (94.64%) Длинные позиции (% выигравших) 88 (78.41%)
Прибыльные сделки (% от всех) 581 (92.37%) Убыточные сделки (% от всех) 48 (7.63%)
Самая большая прибыльная сделка 578.55 убыточная сделка -636.27
Средняя прибыльная сделка 22.73 убыточная сделка -119.00
Максимальное количество непрерывных выигрышей (прибыль) 97 (1630.70) непрерывных проигрышей (убыток) 3 (-7.24)
Макс. непрерывная прибыль (число выигрышей) 1782.49 (44) непрерывный убыток (число проигрышей) -917.25 (2)
Средний непрерывный выигрыш 15 непрерывный проигрыш 1


GBPUSD

#3

Баров в истории 18857 Смоделировано тиков 36712 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (14)
Чистая прибыль 8476.75 Общая прибыль 11491.37 Общий убыток -3014.62
Прибыльность 3.81 Матожидание выигрыша 26.74
Абсолютная просадка 190.72 Максимальная просадка 2129.73 (14.17%) Относительная просадка 14.93% (2114.67)
Всего сделок 317 Короткие позиции (% выигравших) 317 (96.21%) Длинные позиции (% выигравших) 0 (0.00%)
Прибыльные сделки (% от всех) 305 (96.21%) Убыточные сделки (% от всех) 12 (3.79%)
Самая большая прибыльная сделка 458.74 убыточная сделка -396.87
Средняя прибыльная сделка 37.68 убыточная сделка -251.22
Максимальное количество непрерывных выигрышей (прибыль) 80 (2159.73) непрерывных проигрышей (убыток) 1 (-396.87)
Макс. непрерывная прибыль (число выигрышей) 2159.73 (80) непрерывный убыток (число проигрышей) -396.87 (1)
Средний непрерывный выигрыш 25 непрерывный проигрыш 1


#4


Баров в истории 18857 Смоделировано тиков 36712 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (16)
Чистая прибыль 13143.38 Общая прибыль 19352.17 Общий убыток -6208.79
Прибыльность 3.12 Матожидание выигрыша 41.46
Абсолютная просадка 277.49 Максимальная просадка 5256.76 (30.77%) Относительная просадка 30.77% (5256.76)
Всего сделок 317 Короткие позиции (% выигравших) 313 (93.61%) Длинные позиции (% выигравших) 4 (75.00%)
Прибыльные сделки (% от всех) 296 (93.38%) Убыточные сделки (% от всех) 21 (6.62%)
Самая большая прибыльная сделка 792.66 убыточная сделка -953.21
Средняя прибыльная сделка 65.38 убыточная сделка -295.66
Максимальное количество непрерывных выигрышей (прибыль) 48 (2192.05) непрерывных проигрышей (убыток) 2 (-1056.17)
Макс. непрерывная прибыль (число выигрышей) 2543.91 (29) непрерывный убыток (число проигрышей) -1056.17 (2)
Средний непрерывный выигрыш 16 непрерывный проигрыш 1



Далее, что обычно происходило с "тяжелыми" моделями, которые не проверял на уникальность. Что-то работало с одной парой, что-то не подходило для другой.

GBPUSD

Баров в истории 18857 Смоделировано тиков 36712 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (18)
Чистая прибыль -9894.73 Общая прибыль 59564.44 Общий убыток -69459.17
Прибыльность 0.86 Матожидание выигрыша -4.81
Абсолютная просадка 9923.98 Максимальная просадка 14091.83 (99.46%) Относительная просадка 99.46% (14091.83)
Всего сделок 2058 Короткие позиции (% выигравших) 902 (53.88%) Длинные позиции (% выигравших) 1156 (55.10%)
Прибыльные сделки (% от всех) 1123 (54.57%) Убыточные сделки (% от всех) 935 (45.43%)
Самая большая прибыльная сделка 412.30 убыточная сделка -1868.04
Средняя прибыльная сделка 53.04 убыточная сделка -74.29
Максимальное количество непрерывных выигрышей (прибыль) 13 (320.58) непрерывных проигрышей (убыток) 11 (-281.06)
Макс. непрерывная прибыль (число выигрышей) 1283.65 (7) непрерывный убыток (число проигрышей) -2756.06 (7)
Средний непрерывный выигрыш 2 непрерывный проигрыш 2


EURUSD

Баров в истории 18857 Смоделировано тиков 36712 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (21)
Чистая прибыль 1505.03 Общая прибыль 15777.98 Общий убыток -14272.95
Прибыльность 1.11 Матожидание выигрыша 3.13
Абсолютная просадка 2002.76 Максимальная просадка 3290.84 (29.15%) Относительная просадка 29.15% (3290.84)
Всего сделок 481 Короткие позиции (% выигравших) 223 (79.37%) Длинные позиции (% выигравших) 258 (76.36%)
Прибыльные сделки (% от всех) 374 (77.75%) Убыточные сделки (% от всех) 107 (22.25%)
Самая большая прибыльная сделка 682.93 убыточная сделка -2185.25
Средняя прибыльная сделка 42.19 убыточная сделка -133.39
Максимальное количество непрерывных выигрышей (прибыль) 33 (427.49) непрерывных проигрышей (убыток) 5 (-249.26)
Макс. непрерывная прибыль (число выигрышей) 2164.14 (13) непрерывный убыток (число проигрышей) -2248.89 (2)
Средний непрерывный выигрыш 6 непрерывный проигрыш 2


Сильная просадка


Баров в истории 17305 Смоделировано тиков 33610 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (12)
Чистая прибыль 51430.31 Общая прибыль 383412.62 Общий убыток -331982.31
Прибыльность 1.15 Матожидание выигрыша 18.28
Абсолютная просадка 2323.90 Максимальная просадка 21359.88 (47.74%) Относительная просадка 47.74% (21359.88)
Всего сделок 2814 Короткие позиции (% выигравших) 1389 (74.08%) Длинные позиции (% выигравших) 1425 (69.40%)
Прибыльные сделки (% от всех) 2018 (71.71%) Убыточные сделки (% от всех) 796 (28.29%)
Самая большая прибыльная сделка 5168.00 убыточная сделка -12463.55
Средняя прибыльная сделка 190.00 убыточная сделка -417.06
Максимальное количество непрерывных выигрышей (прибыль) 41 (1892.05) непрерывных проигрышей (убыток) 6 (-3490.12)
Макс. непрерывная прибыль (число выигрышей) 9057.38 (11) непрерывный убыток (число проигрышей) -12560.88 (3)
Средний непрерывный выигрыш 4 непрерывный проигрыш 2


USDJPY


Баров в истории 4874 Смоделировано тиков 8745 Качество моделирования n/a
Ошибки рассогласования графиков 0
Начальный депозит 10000.00 Спред Текущий (14)
Чистая прибыль 1023.89 Общая прибыль 16683.02 Общий убыток -15659.13
Прибыльность 1.07 Матожидание выигрыша 1.78
Абсолютная просадка 193.88 Максимальная просадка 1237.09 (10.99%) Относительная просадка 10.99% (1237.09)
Всего сделок 576 Короткие позиции (% выигравших) 264 (66.67%) Длинные позиции (% выигравших) 312 (73.72%)
Прибыльные сделки (% от всех) 406 (70.49%) Убыточные сделки (% от всех) 170 (29.51%)
Самая большая прибыльная сделка 319.00 убыточная сделка -577.03
Средняя прибыльная сделка 41.09 убыточная сделка -92.11
Максимальное количество непрерывных выигрышей (прибыль) 11 (319.14) непрерывных проигрышей (убыток) 5 (-1206.72)
Макс. непрерывная прибыль (число выигрышей) 545.15 (4) непрерывный убыток (число проигрышей) -1206.72 (5)
Средний непрерывный выигрыш 3 непрерывный проигрыш 1


 
Ilya Kosarev:

Долгие (история > 8 лет) и многочисленные (> 500) тестирования дали мне понимание одной вещи, которая очень важна для нейросети.

1. Обязательно проверяйте ваши ВХОДНЫЕ сигналы на предмет УНИКАЛЬНОСТИ связки входных и целевых значений.

Что это значит так и не понял. Вы говорите о входных сигналах(предикторах), которые дают сами по себе по всей выборке статистическое среднее значение для целевой за пределами от 45% до 55%? Т.е. у них должна быть высокая корреляция с целевой?

 
Aleksey Vyazmikin:

Что это значит так и не понял. Вы говорите о входных сигналах(предикторах), которые дают сами по себе по всей выборке статистическое среднее значение для целевой за пределами от 45% до 55%? Т.е. у них должна быть высокая корреляция с целевой?

Каждый бэктест/итерацию увеличивал на один год до момента крушения эксперта, разбирал ошибки, как эксперта, так и нейронки.
Как только отшлифовал эксперта уперся в 5 летний бэктест, руинится и все тут. 
В итоге, генерировались ошибочные сигналы из-за не уникальности связки.
Корреляция ни в каком виде мне не помогла, долго тоже тестировал.
Уникальная связь, это когда вы не найдёте во всей своей выборке повторений предикта (я делаю предобработку, можно сказать выравниваю, но не суть, просто удобно считывать) и целевого значения. МЕГА ВАЖНО, чтобы невозможно было найти одинаковые предикты/входные значения в разных классах. Одна уникальная связь только в одном классе. Потом учим.
Гиперпараметры можно пока оставить свои.

Если угодно, то уникальность связей входных значений и целевых дает больше стабильности предсказаний целевого значения. 
 
Если кто пробовал применять мой опыт, прошу дать обратную связь. Для меня это важно. Спасибо.