Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading

 

Guten Tag, liebe Kolleginnen und Kollegen,

ich weiß, dass es im Forum Enthusiasten für maschinelles Lernen und Statistik gibt. Ich schlage vor, in diesem Thema zu diskutieren (ohne Holivars), zu teilen und bereichern unsere eigene Wissensbank in diesem interessanten Bereich.

Nicht nur für Anfänger gibt es eine gute theoretische Quelle auf Russisch: https: //www.machinelearning.ru/.

Ein kleiner Überblick über die Literatur zu Methoden für die Auswahl informativer Merkmale: https://habrahabr.ru/post/264915/.

Ich schlage Problem Nummer eins vor. Ich werde seine Lösung später veröffentlichen. SanSanych hat es bereits gesehen, bitte sagen Sie mir nicht die Antwort.

Einleitung: Um einen Handelsalgorithmus zu erstellen, muss man wissen, welche Faktoren die Grundlage für die Vorhersage des Preises, des Trends oder der Richtung der Eröffnung eines Geschäfts bilden. Die Auswahl solcher Faktoren ist keine leichte Aufgabe, und sie ist unendlich komplex.

Im Anhang finden Sie ein Archiv mit einem künstlichen csv-Datensatz, den ich erstellt habe.

Die Daten enthalten 20 Variablen mit dem Präfix input_ und eine Variable ganz rechts, output.

Die Ausgangsvariable hängt von einer Teilmenge der Eingangsvariablen ab(die Teilmenge kann zwischen 1 und 20 Eingaben enthalten).

Aufgabe: Wählen Sie mit Hilfe beliebiger Methoden (maschinelles Lernen) Eingangsvariablen aus, die zur Bestimmung des Zustands der Ausgangsvariablen auf den vorhandenen Daten verwendet werden können.

Die Lösung kann hier in der Form: input_2, input_19, input_5 (Beispiel) gepostet werden. Und man kann auch die gefundene Abhängigkeit von Eingängen und Ausgangsvariablen beschreiben.

Wer es kann, gut gemacht ) Von mir die fertige Lösung und Erklärung.

Alexej

Dateien:
 

Deus Ex Machina.

Dies sind die Worte, die dem Leser die Seiten jahrelanger Bände philosophischer Abhandlungen erschließen.

Niemand will also Maschinenstapeln?

 
Alexey Burnakov:

Deus Ex Machina.

Dies sind die Worte, die dem Leser die Seiten jahrelanger Bände philosophischer Abhandlungen erschließen.

Niemand will also Maschinenstapeln?

Jedes Geschäft hat ein Risiko und andere Bedingungen, maschinelles Lernen verwendet alte Daten, d.h. es arbeitet mit etwas, das nicht existiert.
 
yerlan Imangeldinov:
Jede Transaktion hat ein Risiko und andere Bedingungen, maschinelles Lernen verwendet alte Daten, d. h. es arbeitet mit etwas, das nicht existiert.

Genauer gesagt, zu dem, was vorher war.

Und dabei suchen wir nach einer nachhaltigen Abhängigkeit.

Wir sind auf der Suche nach ihnen.

 
Alexey Burnakov:

Genauer gesagt, zu dem, was vorher war.

Und dabei suchen wir nach einer nachhaltigen Abhängigkeit.

Wir sind auf der Suche nach ihnen.

Dies ist die Schwäche, die der Markt durch die Soros-Funktion lernt, dass es besser ist, keine alten Sachen zu verwenden.
 
yerlan Imangeldinov:
Jedes Geschäft hat Risiken und andere Bedingungen, maschinelles Lernen verwendet alte Daten, d. h. es arbeitet mit etwas, das nicht existiert.
Und Sie haben neue Daten? Sie sehen sich also weder die Tabelle noch die alten Daten an? Ja?
 
Dmitry Fedoseev:
Haben Sie neue Daten? Sie sehen sich die Tabelle also gar nicht erst an, es sind alte Daten? Ja?
Es liegt Ihnen auf der Zunge.
 

Wie auch immer, es geht los. Um das Thema ein wenig voranzutreiben, verspreche ich, demjenigen, der die vorgegebene Aufgabe richtig löst, 5 Credits zu überweisen.

Geben Sie eine Reihe von informativen Eingaben heraus.

Die Gemeinschaft hat sie mir für meine Forumsaktivität gegeben, ich werde sie wieder in das System einbringen, aber wir werden eine interessante Diskussion bekommen.

Alexej

 

Das erklärte Thema des maschinellen Lernens ist wichtig, komplex und riesig. Ihrem ersten Beitrag nach zu urteilen, möchten Sie mit einem der vorbereitenden und wichtigen Schritte beginnen - " Bewertung und Auswahl der Prädiktoren". Was wollen Sie mit der gestellten Aufgabe lösen oder zeigen? Eine neue Methode, Methode oder was?

Der Inhalt und das Thema des Themas sind nicht identisch.

Wenn Sie das Ziel genauer beschreiben, sind die Leute vielleicht interessiert.

Nur wenige Menschen haben Zeit, um Probleme mit unklaren Zielen zu lösen.

Viel Glück!

 
Ich habe keine Ahnung, was ich damit anfangen soll:
Jedes Geschäft hat ein Risiko und andere Bedingungen, maschinelles Lernen verwendet alte Daten, d.h. es arbeitet mit etwas, das nicht existiert.

Immer aus der Vergangenheit lernen.

Wir schauen uns jahrhundertelang ein Diagramm an. Beide auf und wir sehen "drei Soldaten", dann sehen wir "Kopf und Schultern". Wie viele dieser Zahlen haben wir bereits gesehen und wir glauben an diese Zahlen, wir handeln...

Und wenn die Aufgabe so eingestellt ist:

1. automatisch solche Zahlen zu finden, nicht für alle Charts, sondern für ein bestimmtes Währungspaar, die vor kurzem aufgetreten sind, nicht vor drei Jahrhunderten im japanischen Reishandel.

2) Die Ausgangsdaten, auf denen wir automatisch nach solchen Zahlen - Mustern - suchen.

Um die erste Frage zu beantworten, betrachten wir den "Random Forest" genannten Algorithmus, der die Kurse einer oder mehrerer Währungen, Indikatoren, Preissteigerungen - alles, was der Mensch erfunden hat - als Eingangsdaten für seine Arbeit verwendet. 10-5-100-200 ... Eingabevariablen. Dann nimmt es den gesamten Satz von Werten der Variablen, die sich auf einen Zeitpunkt beziehen, der einem Balken entspricht, und sucht nach einer solchen Kombination dieser Eingangsvariablen, die auf den Verlaufsdaten einem ganz bestimmten Ergebnis entsprechen würde, zum Beispiel einer BUY-Order. Und eine weitere Reihe von Kombinationen für einen anderen Auftrag - VERKAUFEN. Jeder dieser Gruppen entspricht ein eigener Baum. Die Erfahrung zeigt, dass der Algorithmus bei einer Eingabemenge von 18000 Balken (etwa 3 Jahre) 200-300 Bäume findet. Dies ist die Reihe von Mustern, fast Analoga von "Köpfen und Schultern", und ganze Münder von Soldaten.

Das Problem bei diesem Algorithmus ist, dass solche Bäume einige Besonderheiten aufgreifen können, die in Zukunft nicht mehr vorkommen. Dies wird hier im Forum "Superfitting" genannt, beim maschinellen Lernen "Overfitting". Wir wissen, dass eine große Menge von Eingangsvariablen in zwei Teile unterteilt werden kann: diejenigen, die mit der Ausgangsvariablen zusammenhängen, und diejenigen, die nicht mit dem Rauschen zusammenhängen. Burnakov versucht also, diejenigen auszusortieren, die für das Ergebnis irrelevant sind.

PS.

Beim Aufbau eines Trend-TS (KAUFEN, VERKAUFEN) sind alle Arten von Waggons mit Lärm verbunden!

 
Vladimir Perervenko:

Ihrem ersten Beitrag nach zu urteilen, möchten Sie mit einem der vorbereitenden und wichtigen Schritte beginnen - "Bewertung und Auswahl der Prädiktoren". Was wollen Sie mit der gestellten Aufgabe lösen oder zeigen? Eine neue Methode, Methode oder was?

Der Inhalt und das Thema des Themas sind nicht identisch.

Wenn Sie das Ziel genauer beschreiben, werden die Leute vielleicht interessiert sein.

Nur wenige Menschen haben Zeit, um Probleme mit unklaren Zielen zu lösen.


Gut.

Wenn jemand eine Lösung findet oder zumindest in die Nähe der richtigen Lösung kommt (d.h. das Thema wird lebendig), werde ich:

wird die korrekte Lösung - den Algorithmus zur Erstellung des Datensatzes - veröffentlichen

zu erklären, warum eine Reihe anderer Algorithmen zur "Prädiktorenschätzung und -auswahl" versagt haben

Ich werde meine Methode veröffentlichen, die ähnliche Probleme robust und empfindlich löst - ich werde die Theorie erläutern und den Code in R veröffentlichen.

Dies geschieht zur gegenseitigen Bereicherung von Aufgaben des maschinellen Lernens.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399
Grund der Beschwerde: