Aprendizaje automático en el trading: teoría, práctica, operaciones y más

 

Buenas tardes a todos,

Sé que hay entusiastas del aprendizaje automático y la estadística en este foro. Propongo debatir en este hilo (sin gamberradas), compartiendo y enriqueciendo nuestros propios conocimientos en este interesante campo.

Para los principiantes, y no sólo, hay un buen recurso teórico en ruso:http://www.machinelearning.ru/

Una pequeña revisión bibliográfica sobre los métodos de selección de características informativas:/go?link=https://habrahabr.ru/post/264915/

Propongo el problema número uno. Publicaré su solución más adelante. SanSanych ya lo ha visto, por favor no digas la respuesta.

Introducción: Para construir un algoritmo de negociación, es necesario saber qué factores serán la base para predecir el precio, o la tendencia, o la dirección de apertura de la operación. La selección de estos factores no es una tarea fácil, y es infinitamente complicada.

Adjunto un archivo con un conjunto de datos csv artificial que hice.

Los datos contienen 20 variables con el prefijo input_, y una variable de la derecha output.

La variable de salida depende de algún subconjunto de variables de entrada(el subconjunto puede contener de 1 a 20 entradas).

Problema: Utilizando cualquier método (aprendizaje automático), seleccione las variables de entrada que pueden utilizarse para determinar el estado de la variable de salida en los datos existentes.

La solución puede ser publicada aquí como: input_2, input_19, input_5 (ejemplo). Y también puede describir la dependencia encontrada de las variables de entrada y salida.

Quien lo consiga, bien hecho). Le debo una solución y una explicación.

Alexey

Archivos adjuntos:
 

Deus Ex Machina.

Estas son las palabras que abren al lector las páginas de años de volúmenes de tratados filosóficos.

Entonces, ¿nadie quiere hacer levantamiento de máquinas?

 
Alexey Burnakov:

Deus Ex Machina.

Estas son las palabras que abren al lector las páginas de años de volúmenes de tratados filosóficos.

Entonces, ¿nadie quiere hacer levantamiento de máquinas?

Cada operación tiene un riesgo y otras condiciones, el aprendizaje automático utiliza datos antiguos, es decir, opera sobre algo que no existe.
 
yerlan Imangeldinov:
Cada transacción tiene un riesgo y otras condiciones, el aprendizaje automático utiliza datos antiguos, es decir, opera sobre algo que no existe.

Más concretamente, a lo que había antes.

Y en eso, buscamos una dependencia sostenible.

Los estamos buscando.

 
Alexey Burnakov:

Más concretamente, a lo que había antes.

Y en eso, buscamos una dependencia sostenible.

Los estamos buscando.

Esta es la debilidad que el mercado está aprendiendo a través de la función de Soros es mejor no usar cosas viejas.
 
yerlan Imangeldinov:
Cada operación tiene un riesgo y otras condiciones, el aprendizaje automático utiliza datos antiguos, es decir, opera sobre algo que no existe.
¿Y tienes nuevos datos? Entonces, ¿ni siquiera miras el gráfico porque hay datos antiguos? ¿Sí?
 
Dmitry Fedoseev:
¿Tiene nuevos datos? ¿Así que ni siquiera miras el gráfico, hay datos antiguos? ¿Sí?
Te lo has sacado de la lengua.
 

De todos modos, aquí va. Para animar un poco el tema, prometo transferir 5 créditos a quien resuelva correctamente el problema dado.

Repartir un conjunto de entradas informativas.

La comunidad me los dio por mi actividad en el foro, los pondré de nuevo en el sistema, pero tendremos alguna discusión interesante.

Alexei

 

El tema declarado del aprendizaje automático es importante, complejo y enorme. A juzgar por su primer mensaje, quiere empezar con uno de los pasos preparatorios e importantes: " Evaluación y selección del predictor". ¿Qué quiere resolver o mostrar con la tarea encomendada? ¿Un nuevo método, método o qué?

El contenido y el tema del asunto no son lo mismo.

Sea más específico sobre el objetivo, y la gente puede estar interesada.

Pocas personas tienen tiempo libre para resolver problemas con objetivos poco claros.

Buena suerte

 
yerlan Imangeldinov:
Cada operación tiene un riesgo y otras condiciones, el aprendizaje automático utiliza datos antiguos, es decir, opera sobre algo que no existe.

Siempre aprendiendo del pasado.

Miramos durante siglos un gráfico. Ambos sobre y vemos "tres soldados", luego vemos "cabeza y hombros". Cuántas de estas cifras ya las hemos visto y creemos en ellas, comerciamos...

Y si la tarea se establece así:

1. encontrar automáticamente esas cifras, no a todos los gráficos, sino a un par de divisas en particular, las que se produjeron recientemente, no hace tres siglos en el comercio de arroz japonés.

2) Los datos iniciales sobre los que buscamos automáticamente esas figuras - patrones.

Para responder a la primera pregunta, consideremos el algoritmo llamado "bosque aleatorio". El algoritmo toma como datos de entrada para su funcionamiento las cotizaciones de una o varias divisas, los indicadores, los incrementos de precios... todo lo inventado por el ser humano. 10-5-100-200 ... variables de entrada. A continuación, toma todo el conjunto de valores de las variables referidas a un punto del tiempo correspondiente a una barra y busca la combinación de estas variables de entrada que correspondería en los datos históricos a un resultado bastante determinado, por ejemplo, una orden de compra. Y otra serie de combinaciones para otra orden - VENDER. A cada uno de estos conjuntos le corresponde un árbol distinto. La experiencia demuestra que para un conjunto de entrada de 18000 barras (unos 3 años) el algoritmo encuentra entre 200 y 300 árboles. Este es el conjunto de patrones, casi análogos de "cabezas y hombros", y bocas enteras de soldados.

El problema de este algoritmo es que dichos árboles pueden recoger algunas particularidades que no se encuentran en el futuro. Esto se llama "superfitting" aquí en el foro, en el aprendizaje de máquinas "overfitting". Sabemos que todo un gran conjunto de variables de entrada puede dividirse en dos partes: las relacionadas con la variable de salida y las no relacionadas con el ruido. Así que Burnakov trata de eliminar los que son irrelevantes para el resultado.

PS.

¡Cuando se construye una tendencia TS (COMPRA, VENTA) cualquier tipo de vagones están relacionados con el ruido!

 
Vladimir Perervenko:

A juzgar por su primer mensaje, quiere empezar con uno de los pasos preparatorios e importantes: "Evaluación y elección de predictores". ¿Qué quiere resolver o mostrar con la tarea dada? ¿Un nuevo método, método o qué?

El contenido y el tema del asunto no son lo mismo.

Sea más específico sobre el objetivo, tal vez la gente se interese.

Pocas personas tienen tiempo libre para resolver problemas con objetivos poco claros.


Bien.

Si alguien se decide o al menos se acerca a la solución correcta (es decir, el tema estará vivo), yo:

publicará la solución correcta - el algoritmo para generar el conjunto de datos

explicar por qué fallaron otros algoritmos de " Estimación y selección de predictores".

Voy a publicar mi método, que resuelve de forma robusta y sensible problemas similares - Voy a dar la teoría y publicar el código en R.

Esto se hace para el enriquecimiento mutuo de las tareas de aprendizaje automático.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399