L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2967

 
Aleksey Nikolayev #:

E' python. La mia domanda originale riguardava R.

Ho praticamente iniziato a invertire il formato del file. Tutto ciò che ho trovato prima dice che è un protobuf compresso json. Ho appena trovato questo: "Il modello in formato ONNX è un file Protocol Buffers, che è un formato di file di messaggi sviluppato da Google".

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

In pratica ho iniziato a invertire il formato del file. Tutto quello che ho trovato prima dice che si tratta di un protobuf compresso json. Ho appena trovato questo: "Il modello formato ONNX è un file nel formato Protocol Buffers, che è un formato di file di messaggi sviluppato da Google".

ONNX è innanzitutto un linguaggio. Ecco, ad esempio, un elenco dei suoi operatori. Come esattamente vengano rappresentati i file di programma in esso è una questione importante ma secondaria. Sembra che si tratti di avere un convertitore da un linguaggio all'altro.

 
Aleksey Nikolayev #:

ONNX è innanzitutto un linguaggio. Ecco, ad esempio, un elenco dei suoi operatori. Il modo in cui vengono rappresentati i file di programma è una questione importante ma secondaria. A quanto pare, il problema è la disponibilità di un convertitore da una lingua all'altra.

Si può fare tutto in r e addestrare solo il modello finale in Python, se si ha bisogno di comprimere il tutto nel terminale.

È possibile farlo senza installare nulla, tramite google colab.

Ho usato xbox per addestrarlo in questo modo :)

 
Maxim Dmitrievsky #:

Su r fare tutto, il modello in python solo per addestrare quello finale, se è necessario per stipare nel terminale

è possibile farlo senza installare nulla, tramite google colab

Qui si tratta di una violazione del principio che R ha tutto, quasi come la Grecia) Per me è il primo caso in cui non c'è qualcosa di necessario. Forse la lingua sta iniziando a cedere la sua posizione.

Maxim Dmitrievsky #:

Ho usato xbox per insegnare in questo modo :)

Probabilmente è possibile insegnare attraverso una rete di un televisore con un frigorifero e un ferro da stiro).

 
Aleksey Nikolayev #:

Si tratta di violare il principio che R ha tutto, quasi come la Grecia).

Niente è perfetto.
La comunità di R è 100 volte più piccola di quella di Python.

Ci sono molte cose che R non ha e che probabilmente non avrà mai.

Nella sua nicchia - statistiche, MO, lavoro con i dati (ciò di cui abbiamo bisogno) è il migliore, ma al di fuori di questa nicchia penso che altri linguaggi possano competere con R senza problemi.
 
Aleksey Nikolayev #:

Qui si tratta di violare il principio che R ha tutto, quasi come la Grecia) Per me è la prima volta che non c'è qualcosa di necessario. Forse la lingua sta iniziando a perdere terreno.

Forse è possibile insegnare attraverso la rete del televisore con un frigorifero e un ferro da stiro)

Onnx è davvero così necessario in R?

Fondamentalmente ONNX è una sequenza di operazioni matematiche elementari scritte durante l'esecuzione di un modello/funzione/modulo. Qualsiasi sequenza supportata può essere tradotta in ONNX. Ma poiché tutto questo è molto vagamente standardizzato, richiede uno sforzo supplementare per imparare, applicare questo argomento o applicare solo pacchetti che hanno convertitori incorporati.

Ho provato in R a convertire il modello H2O salvato in MOJO con il convertitore Python (esistono solo convertitori da JSOM e MOJO a ONNX), ma non ha funzionato. Devo approfondire l'argomento.

Ho inviato una richiesta per la possibilità di convertire le librerie in R (Torch, H2O, XGBoost). Solo l'ultima ha risposto e ha promesso un convertitore JSON. Finora non c'è stato alcun risultato.

In generale, è necessario valutare se i vantaggi dell'applicazione ONNX valgono gli sforzi per studiarla e utilizzarla. La decisione spetta a tutti.

Di tutti i pacchetti di conversione che ho esaminato, il più avanzato, ben documentato e comprensibile (a mio parere) è spox (v0.6.1).

Buona fortuna

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
 
Aleksey Nikolayev #:

Qui si tratta di violare il principio che R ha tutto, quasi come la Grecia) Per me è la prima volta che non c'è qualcosa di necessario. Forse la lingua sta iniziando a perdere terreno.

Forse è possibile insegnare attraverso la rete del televisore con un frigorifero e un ferro da stiro)

A questo punto, forse, possiamo tranquillamente entrare nel vicolo cieco dell'evoluzione e lasciare il posto ad altre specie normali :D

 
Vladimir Perervenko #:

In generale, è necessario valutare se i vantaggi dell'applicazione ONNX valgono lo sforzo per impararla e utilizzarla. La decisione spetta a tutti.

Esattamente quello che ho detto molte volte qui...

nessuno ha un modello funzionante, ma tutti devono sapere come implementare un modello profondo tramite ONNX :)

 
mytarmailS #:

Esattamente quello che ho detto molte, molte volte qui.

nessuno ha un modello funzionante, ma tutti devono sapere come implementare un modello profondo tramite onnx :)

Beh, almeno per rispetto del lavoro svolto dagli sviluppatori è necessario sentire e studiare la funzionalità proposta. E se applicare o non applicare, ognuno può decidere per sé. Inoltre, oggi è complicato e incomprensibile, e domani potrebbe esserci l'opportunità di semplificare questo processo di conversione.

La frase è sbagliata: "Nessuno ha un modello funzionante...". Direi che il forum non vede molti modelli effettivamente funzionanti sul mercato. Ma va bene così. Nessuno ha intenzione di dare via i propri soldi duramente guadagnati per niente.

Buona fortuna

 
Vladimir Perervenko #:

Beh, almeno per rispetto del lavoro svolto dagli sviluppatori è necessario sentire, studiare l'opportunità proposta. E lasciare che ognuno decida da solo se utilizzarla o meno. Del resto, oggi è complicato e incomprensibile, e domani potrebbe essere possibile semplificare il processo di conversione.

Sì, certo, quello che è stato fatto va bene e sarà utile...

È solo necessario seguire una sequenza logica di azioni e pensieri ....

spendere molte risorse e tempo per imparare una tecnologia importante e necessaria per lanciare un modello CHE NON LO È?!?! non è coerente....

Vladimir Perervenko #:

State formulando in modo errato: "Nessuno ha un modello funzionante...".

Sospettavo che sarei stato corretto....

Sì, ovviamente intendevo la stragrande maggioranza > 95~99,9 %.