Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2966

 
Rorschach #:

По идее можно обобщить вопрос или заставить в несколько шагов сделать, но это уже не ко мне, проще в поиске искать.


https://github.com/PINTO0309/json2onnx/blob/main/json2onnx/json2onnx.py

Основной код вроде короткий

Это же питон. Мой изначальный вопрос был про R.

 
Перепад в компетенции между людьми на форуме на столько глубокий что некоторые посты звучат как насмешка
 
Aleksey Nikolayev #:

Это же питон. Мой изначальный вопрос был про R.

Я по сути формат файла реверсить начал. Все что встречалось раньше говорит, что это json сжатый  protobuf. Вот сейчас нашел: "Модель в формате ONNX является файлом в формате Protocol Buffers, который представляет собой формат файла сообщений, разработанный Google"

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

Я по сути формат файла реверсить начал. Все что встречалось раньше говорит, что это json сжатый  protobuf. Вот сейчас нашел: "Модель в формате ONNX является файлом в формате Protocol Buffers, который представляет собой формат файла сообщений, разработанный Google"

ONNX это прежде всего язык. Вот, например, список его операторов. Как именно представлены файлы программ на нём вопрос важный, но вторичный. Там, судя по всему, вопрос именно в наличии конвертора с одного языка на другой.

 
Aleksey Nikolayev #:

ONNX это прежде всего язык. Вот, например, список его операторов. Как именно представлены файлы программ на нём вопрос важный, но вторичный. Там, судя по всему, вопрос именно в наличии конвертора с одного языка на другой.

На r сделать все, модель на питоне только обучить финальную, если в терминал надо впихнуть

можно даже ничего не устанавливая, через google colab

я вообще через xbox так обучал :)

 
Maxim Dmitrievsky #:

На r сделать все, модель на питоне только обучить финальную, если в терминал надо впихнуть

можно даже ничего не устанавливая, через google colab

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Maxim Dmitrievsky #:

я вообще через xbox так обучал :)

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

 
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) 

Нету ничего идеального.. 
У R комюнити меньше питона в 100 раз

В  R много чего нет, и наверное никогда не будет

В своей нише - статистика, МО, работа с данными (то что нам и надо) он лучшый,  но за рамками этой нишы думаю другие ЯП могут соревноваться легко с R
 
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

А onnx действительно так нужен в R?

По сути ONNX это последовательность выполнения элементарных математических операций записанная при выполнении модели/функции/модуля. Перевести в ONNX  можно любую поддерживаемую последовательность. Но поскольку это все очень слабо стандартизировано, то это требует дополнительных усилий по изучению, применению этой темы или применять только те пакеты, которые имеют встроенные конверторы.

Я пробовал в R преобразовать модель H2O сохраненную в MOJO конвертором из Питона(только там есть конверторы из JSOM, MOJO в ONNX) не срослось. Нужно глубже погружаться в эту тему.

Отправил запрос на возможность конвертации разрабам библиотек в R (Torch, H2O, XGBoost). Откликнулся только последний, обещал конвертор в JSON. Пока нет результата.

В общем нужно оценить стоят ли те плюсы отприменения ONNX тех усилий по его изучению и применения. Это решать каждому.

Из всех пакетов конверторов которые я просмотрел, самый продвинутый, хорошо документированный и понятный (по моему мнению) spox(v0.6.1)

Удачи

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
 
Aleksey Nikolayev #:

Тут же дело в нарушении принципа, что в R всё есть, почти как в Греции) Для меня это первый случай когда там нет чего-то нужного. Возможно, язык начинает сдавать позиции.

Наверно можно уже обучать и через сеть из телевизора с холодильником и утюгом)

На этом, пожалуй, можно смело заходить в эволюционный тупик и давать дорогу другим нормальным видам :D

 
Vladimir Perervenko #:

В общем нужно оценить стоят ли те плюсы отприменения ONNX тех усилий по его изучению и применения. Это решать каждому.

Именно то что я и говорил много много раз тут..

ниукого никакой рабочей модели нету, но всем надо знать как внедрять глубокую модель через onnx :)

Причина обращения: