Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1839

Новый комментарий
 
elibrarius:

Хочу со всеми посоветоваться.
В пакете Darch нашел такой вариант оценки модели:
Считаем ошибку на трэйн и на ооб участках.
Потом итоговую ошибку считаем как
err = oob_error * comb_err_tr + train_err * (1 - comb_err_tr);

где comb_err_tr= 0,62. Множитель который регулирует вклад ошибок с train и с oob участков. Если его установить в 0 - то оценка только по train. Если установить в 1, то оценка только по oob.

0,62 - означает, что ошибка с oob имеет чуть больший вес в общей оценке модели.

Какое-то время я этой формулой пользовался, но сейчас возникли сомнения.

Ошибка на oob обычно имеет предел, а на train если пошло переобучение, то может дойти и до 0.
Примерно вот так: (зеленая это оценочная ошибка по формуле)




По этой формуле ошибка будет продолжать уменьшаться за счет уменьшающейся trn ошибки. И перестанет падать, только когда trn перестанет уменьшаться. В то же время когда началось  переобучение, то ошибка на oob начнет расти.
На мой взгляд остановка обучения, когда err по формуле начнет расти - слишком поздно.
Даже в точке где ошибка oob минимальна - тоже не оптимальна. За счет удачной рандомизации случайно нашелся минимум по oob, но это может быть подгонкой под oob.
Может быть надо взять минимальную ошибку на oob, и считать ее как предел для ошибки на train? Т.е. остановить обучение модели когда ошибка на trn стала равна лучшей ошибке на oob (там, где я нарисовал вертикальную линию)? Ошибка на oob будет хуже, зато это не будет подгонкой ни под train, ни под oob.

Логика есть в этом. Предел ошибки определён вероятностной моделью и как разумная величина выборки, так и количество переобучений  имеют некий оптимальный размер, увеличение которого не улучшает результат

 
mytarmailS:

Торговая система глазами алготрейдера

R - ты просто апуененен! :)

ну шо там цифровые фильтры или уровни ченить показывают интересного? :D

 
Maxim Dmitrievsky:

ну шо там цифровые фильтры или уровни ченить показывают интересного? :D

последнее что делал это искал как бы суперпозицию паттернов ...

Есть у нас уровень - когда цена его пересекает мы фиксируем этот паттерн и фиксируем его как обучающую выборку

паттерны бывают разные

более того в один момент может быть сразу много паттернов одновременно, в этом по сути и вся суть, я ищу в этом множестве паттернов которое появилось в моменте, какой то четкий под набор который что то решает


Для майнинга правил по паттернам использую "ассоциативные правила"   этот  подход выгодно отличается от обычных тем что в каждом обучающем примере может быть  произвольное количество элементов, и не учитывается упорядоченость признаков  что тоже хорошо как по мне


целевая  - найти экстремум от которого будет рост еще на 10 точек

 x[i]==min(x[(i-1):(i+10)])

не лучшее решение, но что делал о том и пишу, те пока только бай


Алгоритм майнинга "apriori"  из пакета "arules"


так выглядят найденные правила

inspect(head(rules.sorted,20)) 
     lhs                              rhs   support     confidence lift     count
[1]  {(28)(28)(-1);1,(44)(45)(-1)} => {BUY} 0.001017018 0.5769231  3.046559 15   
[2]  {(25)(23)(-1);1,(5)(3)(-1)}   => {BUY} 0.001084819 0.5517241  2.913491 16   
[3]  {(31)(33)(-1),(8)(6)(-1)}     => {BUY} 0.001084819 0.5000000  2.640351 16   
[4]  {(49)(45)(-1),(54)(52)(-1)}   => {BUY} 0.001017018 0.5000000  2.640351 15   
[5]  {(25)(23)(-1),(82)(84)(-1)}   => {BUY} 0.001017018 0.4838710  2.555178 15   
[6]  {(46)(48)(-1),(56)(56)(-1)}   => {BUY} 0.001017018 0.4838710  2.555178 15   
[7]  {(25)(23)(-1);1,(40)(41)(-1)} => {BUY} 0.001017018 0.4838710  2.555178 15   
[8]  {(29)(30)(-1),(37)(39)(-1)}   => {BUY} 0.001017018 0.4838710  2.555178 15   
[9]  {(34)(32)(-1),(76)(74)(-1)}   => {BUY} 0.001898434 0.4745763  2.506096 28   
[10] {(25)(22)(-1),(7)(6)(-1);3}   => {BUY} 0.001152621 0.4722222  2.493665 17   
[11] {(17)(16)(-1);1,(49)(45)(-1)} => {BUY} 0.001017018 0.4687500  2.475329 15   
[12] {(46)(48)(-1),(62)(60)(-1)}   => {BUY} 0.001017018 0.4687500  2.475329 15   
[13] {(20)(21)(-1),(45)(46)(-1)}   => {BUY} 0.001017018 0.4687500  2.475329 15   
[14] {(19)(18)(-1);1,(60)(57)(-1)} => {BUY} 0.001220422 0.4615385  2.437247 18   
[15] {(25)(23)(-1);1,(47)(45)(-1)} => {BUY} 0.001152621 0.4594595  2.426268 17   
[16] {(40)(41)(-1),(71)(71)(-1)}   => {BUY} 0.001152621 0.4594595  2.426268 17   
[17] {(2)(1)(-1);4,(6)(6)(-1)}     => {BUY} 0.001084819 0.4571429  2.414035 16


вот правило "1" (самое лучшее) в действии на новых данных

без всякой подтасовки, как есть , в той последовательности как есть..

тут уже решай сам, интересная это тема или нет

продолжение того же самого


Потом уже как бы "сверху" к этим входам можно накинуть АМО для фильтрации входить/не входить   

Так же есть безграничный потенциал по увеличению количества и качества  паттернов

Может что и получиться крутое, но у меня уже нету ни сил ни запала, ушел в творческий запой ((



Думаю что уровни это самый перспективный инструмент для создания ТС...

Уровень в моем понимании это не тупой фрактал била вильямса, а какое то событие по конкретной цене, скорей всего "много ходовое" 

 
mytarmailS:

Потом уже как бы "сверху" к этим входам можно накинуть АМО для фильтрации входить/не входить   

Так же есть безграничный потенциал по увеличению количества и качества  паттернов

Может что и получиться крутое, но у меня уже нету ни сил ни запала, ушел в творческий запой ((

как запал появится- почитаю ))

 
Maxim Dmitrievsky:

как запал появится- почитаю ))

да найди в гугле что покороче, там и читать по сути нечего

 
Ох, как же х-ево... люди не бухайте, никогда не бухайте, никогда, никогда....
 
mytarmailS:
Ох, как же х-ево... люди не бухайте, никогда не бухайте, никогда, никогда....
Как я тебя понимаю. Сам отхожу уже второй день :-)
 

Вижу, что  пытаетесь найти шаблон. Он прост как три копейки)  Это волновая теория. Но её в  данный момент в открытом доступе нет.

Представьте, что Вы прожили в браке 22 года. На сколько вероятность, что Вы разведетесь сегодня или завтра? Научите машинное обучение такому пониманию и только тогда переходите к более простым вопросам - финансовым рынкам.  

Понимаю, что сложно подхожу к теме.

Уважительно относился к словам Юсуфа. Он всегда правильно говорил о преемственности истории и текущем моменте. И важности на будущее.

 
Uladzimir Izerski:

Вижу, что  пытаетесь найти шаблон. Он прост как три копейки)  Это волновая теория. Но её в  данный момент в открытом доступе нет.

Представьте, что Вы прожили в браке 22 года. На сколько вероятность, что Вы разведетесь сегодня или завтра? Научите машинное обучение такому пониманию и только тогда переходите к более простым вопросам - финансовым рынкам.  

Волновая теория рынка- ПСЕВДОНАУКА, как и спектры, разложение котировок и подобная ересть....
 
Mihail Marchukajtes:
Волновая теория рынка- ПСЕВДОНАУКА, как и спектры, разложение котировок и подобная ересть....

Да как бы всё это от ваших фантазий.

Но Вы свои фантазии излагаете уже на  страниц. Я их читаю, анализирую. Не возражаю, если даже несете полнейшую чушь)

1...183218331834183518361837183818391840184118421843184418451846...3510
Новый комментарий
Причина обращения: