Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3606

 
Maxim Dmitrievsky #:
З.Ы. мне кажется, что предложенный расчет слишком оптимистичный.
Наверное нужно ещё учитывать вероятность выпадения каждого кластера. Или вообще считать по-другому.

Так уже лучше.

Если чередование выпадения кластеров подчиняется некоторому вероятностному закону, то для вычисления итоговой вероятности прибыльной сделки необходимо учитывать этот закон. Рассмотрим пример для трех кластеров.

Пример для трех кластеров

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

Также предположим, что вероятности выпадения каждого кластера подчиняются некоторому вероятностному закону. Например, вероятности выпадения кластеров могут быть следующими:

  • P ( кластер 1 ) = 0.3 P(кластер 1)=0.3
  • P ( кластер 2 ) = 0.5 P(кластер 2)=0.5
  • P ( кластер 3 ) = 0.2 P(кластер 3)=0.2

Вычисление итоговой вероятности

Для вычисления итоговой вероятности прибыльной сделки необходимо учитывать вероятности выпадения каждого кластера и их вероятности прибыльной сделки.

  1. Вероятность прибыльной сделки для каждого кластера, учитывая вероятность его выпадения:

    P ( прибыльная сделка для кластера 1 ) = P ( кластер 1 ) × P ( A 1 ) = 0.3 × 0.6 = 0.18 P(прибыльная сделка для кластера 1)=P(кластер 1)×P(A1)=0.3×0.6=0.18 P ( прибыльная сделка для кластера 2 ) = P ( кластер 2 ) × P ( A 2 ) = 0.5 × 0.5 = 0.25 P(прибыльная сделка для кластера 2)=P(кластер 2)×P(A2)=0.5×0.5=0.25 P ( прибыльная сделка для кластера 3 ) = P ( кластер 3 ) × P ( A 3 ) = 0.2 × 0.4 = 0.08 P(прибыльная сделка для кластера 3)=P(кластер 3)×P(A3)=0.2×0.4=0.08
  2. Итоговая вероятность прибыльной сделки:

    P ( прибыльная сделка ) = P ( прибыльная сделка для кластера 1 ) + P ( прибыльная сделка для кластера 2 ) + P ( прибыльная сделка для кластера 3 ) P(прибыльная сделка)=P(прибыльная сделка для кластера 1)+P(прибыльная сделка для кластера 2)+P(прибыльная сделка для кластера 3) P ( прибыльная сделка ) = 0.18 + 0.25 + 0.08 = 0.51 P(прибыльная сделка)=0.18+0.25+0.08=0.51

Итог

Итоговая вероятность прибыльной сделки, учитывая вероятности выпадения каждого кластера и их вероятности прибыльной сделки, составляет 0.51 или 51%.

Объяснение

  • Вероятность прибыльной сделки для каждого кластера вычисляется как произведение вероятности выпадения кластера и вероятности прибыльной сделки для этого кластера.
  • Итоговая вероятность прибыльной сделки вычисляется как сумма вероятностей прибыльной сделки для каждого кластера.

Этот метод позволяет корректно учесть вероятностный закон выпадения кластеров и вычислить итоговую вероятность прибыльной сделки.

 

Общий вывод:

Комбинирование кластеров может приводить к улучшению общей вероятности прибыльной сделки, но это зависит от конкретных условий и характеристик кластеров. Рассмотрим несколько сценариев, при которых комбинирование кластеров может быть полезным.

Сценарий 1: Независимые события

Если события (прибыльные сделки) в разных кластерах независимы, то комбинирование кластеров может увеличить общую вероятность прибыльной сделки. Это связано с тем, что вероятность того, что хотя бы одно из событий произойдет, увеличивается с увеличением числа независимых событий.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

Вероятность того, что хотя бы одно из событий произойдет:

P ( хотя бы одно из событий произойдет ) = 1 − P ( ни одно из событий не произойдет ) P(хотя бы одно из событий произойдет)=1P(ни одно из событий не произойдет) P ( ни одно из событий не произойдет ) = ( 1 − 0.6 ) × ( 1 − 0.5 ) × ( 1 − 0.4 ) = 0.4 × 0.5 × 0.6 = 0.12 P(ни одно из событий не произойдет)=(10.6)×(10.5)×(10.4)=0.4×0.5×0.6=0.12 P ( хотя бы одно из событий произойдет ) = 1 − 0.12 = 0.88 P(хотя бы одно из событий произойдет)=10.12=0.88

Таким образом, комбинирование кластеров увеличивает общую вероятность прибыльной сделки до 0.88 или 88%.

Сценарий 2: Зависимые события

Если события в разных кластерах зависимы, то комбинирование кластеров может не привести к значительному улучшению общей вероятности прибыльной сделки. В этом случае необходимо учитывать условные вероятности и корреляции между событиями.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

Если события зависимы, то для вычисления общей вероятности прибыльной сделки необходимо использовать формулу включений-исключений:

P ( A 1 ∪ A 2 ∪ A 3 ) = P ( A 1 ) + P ( A 2 ) + P ( A 3 ) − P ( A 1 ∩ A 2 ) − P ( A 1 ∩ A 3 ) − P ( A 2 ∩ A 3 ) + P ( A 1 ∩ A 2 ∩ A 3 ) P(A1A2A3)=P(A1)+P(A2)+P(A3)P(A1A2)P(A1A3)P(A2A3)+P(A1A2A3)

Если условные вероятности и корреляции между событиями неизвестны, то вычисление общей вероятности становится более сложным.

Сценарий 3: Вероятностный закон выпадения кластеров

Если чередование выпадения кластеров подчиняется некоторому вероятностному закону, то комбинирование кластеров может улучшить общую вероятность прибыльной сделки, если вероятности выпадения кластеров и их вероятности прибыльной сделки распределены таким образом, что увеличивают общую вероятность.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

И вероятности выпадения кластеров:

  • P ( кластер 1 ) = 0.3 P(кластер 1)=0.3
  • P ( кластер 2 ) = 0.5 P(кластер 2)=0.5
  • P ( кластер 3 ) = 0.2 P(кластер 3)=0.2

Вероятность прибыльной сделки для каждого кластера, учитывая вероятность его выпадения:

P ( прибыльная сделка для кластера 1 ) = 0.3 × 0.6 = 0.18 P(прибыльная сделка для кластера 1)=0.3×0.6=0.18 P ( прибыльная сделка для кластера 2 ) = 0.5 × 0.5 = 0.25 P(прибыльная сделка для кластера 2)=0.5×0.5=0.25 P ( прибыльная сделка для кластера 3 ) = 0.2 × 0.4 = 0.08 P(прибыльная сделка для кластера 3)=0.2×0.4=0.08

Итоговая вероятность прибыльной сделки:

P ( прибыльная сделка ) = 0.18 + 0.25 + 0.08 = 0.51 P(прибыльная сделка)=0.18+0.25+0.08=0.51

Таким образом, комбинирование кластеров увеличивает общую вероятность прибыльной сделки до 0.51 или 51%.

Заключение

Комбинирование кластеров может приводить к улучшению общей вероятности прибыльной сделки, если события независимы или если вероятности выпадения кластеров и их вероятности прибыльной сделки распределены таким образом, что увеличивают общую вероятность. В случае зависимых событий необходимо учитывать условные вероятности и корреляции между событиями.

 
Maxim Dmitrievsky #:

Общий вывод:

Комбинирование кластеров может приводить к улучшению общей вероятности прибыльной сделки, но это зависит от конкретных условий и характеристик кластеров. Рассмотрим несколько сценариев, при которых комбинирование кластеров может быть полезным.

Сценарий 1: Независимые события

Если события (прибыльные сделки) в разных кластерах независимы, то комбинирование кластеров может увеличить общую вероятность прибыльной сделки. Это связано с тем, что вероятность того, что хотя бы одно из событий произойдет, увеличивается с увеличением числа независимых событий.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

Вероятность того, что хотя бы одно из событий произойдет:

P ( хотя бы одно из событий произойдет ) = 1 − P ( ни одно из событий не произойдет ) P(хотя бы одно из событий произойдет)=1P(ни одно из событий не произойдет) P ( ни одно из событий не произойдет ) = ( 1 − 0.6 ) × ( 1 − 0.5 ) × ( 1 − 0.4 ) = 0.4 × 0.5 × 0.6 = 0.12 P(ни одно из событий не произойдет)=(10.6)×(10.5)×(10.4)=0.4×0.5×0.6=0.12 P ( хотя бы одно из событий произойдет ) = 1 − 0.12 = 0.88 P(хотя бы одно из событий произойдет)=10.12=0.88

Таким образом, комбинирование кластеров увеличивает общую вероятность прибыльной сделки до 0.88 или 88%.

Сценарий 2: Зависимые события

Если события в разных кластерах зависимы, то комбинирование кластеров может не привести к значительному улучшению общей вероятности прибыльной сделки. В этом случае необходимо учитывать условные вероятности и корреляции между событиями.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

Если события зависимы, то для вычисления общей вероятности прибыльной сделки необходимо использовать формулу включений-исключений:

P ( A 1 ∪ A 2 ∪ A 3 ) = P ( A 1 ) + P ( A 2 ) + P ( A 3 ) − P ( A 1 ∩ A 2 ) − P ( A 1 ∩ A 3 ) − P ( A 2 ∩ A 3 ) + P ( A 1 ∩ A 2 ∩ A 3 ) P(A1A2A3)=P(A1)+P(A2)+P(A3)P(A1A2)P(A1A3)P(A2A3)+P(A1A2A3)

Если условные вероятности и корреляции между событиями неизвестны, то вычисление общей вероятности становится более сложным.

Сценарий 3: Вероятностный закон выпадения кластеров

Если чередование выпадения кластеров подчиняется некоторому вероятностному закону, то комбинирование кластеров может улучшить общую вероятность прибыльной сделки, если вероятности выпадения кластеров и их вероятности прибыльной сделки распределены таким образом, что увеличивают общую вероятность.

Пример

Предположим, у вас есть три кластера с вероятностями прибыльной сделки:

  • P ( A 1 ) = 0.6 P(A1)=0.6
  • P ( A 2 ) = 0.5 P(A2)=0.5
  • P ( A 3 ) = 0.4 P(A3)=0.4

И вероятности выпадения кластеров:

  • P ( кластер 1 ) = 0.3 P(кластер 1)=0.3
  • P ( кластер 2 ) = 0.5 P(кластер 2)=0.5
  • P ( кластер 3 ) = 0.2 P(кластер 3)=0.2

Вероятность прибыльной сделки для каждого кластера, учитывая вероятность его выпадения:

P ( прибыльная сделка для кластера 1 ) = 0.3 × 0.6 = 0.18 P(прибыльная сделка для кластера 1)=0.3×0.6=0.18 P ( прибыльная сделка для кластера 2 ) = 0.5 × 0.5 = 0.25 P(прибыльная сделка для кластера 2)=0.5×0.5=0.25 P ( прибыльная сделка для кластера 3 ) = 0.2 × 0.4 = 0.08 P(прибыльная сделка для кластера 3)=0.2×0.4=0.08

Итоговая вероятность прибыльной сделки:

P ( прибыльная сделка ) = 0.18 + 0.25 + 0.08 = 0.51 P(прибыльная сделка)=0.18+0.25+0.08=0.51

Таким образом, комбинирование кластеров увеличивает общую вероятность прибыльной сделки до 0.51 или 51%.

Заключение

Комбинирование кластеров может приводить к улучшению общей вероятности прибыльной сделки, если события независимы или если вероятности выпадения кластеров и их вероятности прибыльной сделки распределены таким образом, что увеличивают общую вероятность. В случае зависимых событий необходимо учитывать условные вероятности и корреляции между событиями.

А что такое "прибыльные сделка"? Это какая вероятность? 0.5, 0.6 ....

Куда делся порог, который и долен формализовать понятие "прибыльная сделка". Причем проблема в том, что вычисленный порог должен остаться "порогом" хотя бы на следующем шаге предсказания.

 
СанСаныч Фоменко #:

А что такое "прибыльные сделка"? Это какая вероятность? 0.5, 0.6 ....

Куда делся порог, который и долен формализовать понятие "прибыльная сделка". Причем проблема в том, что вычисленный порог должен остаться "порогом" хотя бы на следующем шаге предсказания.

Не могу себе позволить столько много писать, а то мудираторы и скуфы опять сочтут, что я не даю никому высказаться :) да и руки не луженые. Я же не Артемий Лебедев.

Прибыльная - это приносящая Профит после исправления меток кластера в размеченным датасете ещё до обучения. Мы же их обсуждаем. То есть, обучения даже не касаемся.

Если можно доказать, что игра с вероятностями позволяет улучшать общий результат с учётом ООС, то это будет формальным ответом на то, почему лучше проверять группы кластеров, а не по одному.