Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2967

 
Aleksey Nikolayev #:

Python. Benim asıl sorum R ile ilgiliydi.

Temel olarak dosya formatını tersine çevirmeye başladım. Daha önce karşılaştığım her şey bunun bir json sıkıştırılmış protobuf olduğunu söylüyordu. Az önce şunu buldum: "ONNX formatlı model, Google tarafından geliştirilen bir mesaj dosyası formatı olan bir Protokol Tamponları dosyasıdır"

Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
Ускорение инференса модели BERT с помощью ONNX и ONNX Runtime на примере решения задачи классификации текста
  • 2022.12.12
  • habr.com
При обращении в Ростелеком каждый клиент преследует свою цель: узнать статус своей заявки, внести изменения в договор, сменить тарифный план, подключить телевидение и еще сотни уникальных потребностей клиента. При этом каждое обращение клиента необходимо достаточно быстро и с заданным уровнем качества автоматически идентифицировать для...
 
Rorschach #:

Temel olarak dosya formatını tersine çevirmeye başladım. Daha önce karşılaştığım her şey bunun bir json sıkıştırılmış protobuf olduğunu söylüyordu. Az önce şunu buldum: "ONNX biçimli model, Google tarafından geliştirilen bir mesaj dosyası biçimi olan Protokol Tamponları biçiminde bir dosyadır"

ONNX her şeyden önce bir dildir. Burada, örneğin, operatörlerinin bir listesi bulunmaktadır. Program dosyalarının tam olarak nasıl temsil edildiği önemli ancak ikincil bir sorudur. Bu, bir dilden diğerine bir dönüştürücüye sahip olma meselesi gibi görünüyor.

 
Aleksey Nikolayev #:

ONNX her şeyden önce bir dildir. Burada, örneğin, operatörlerinin bir listesi bulunmaktadır. Program dosyalarının tam olarak nasıl temsil edildiği önemli ancak ikincil bir konudur. Görünüşe göre, sorun bir dilden diğerine bir dönüştürücünün mevcudiyetidir.

Her şeyi r'de yapabilir, yalnızca son modeli Python'da eğitebilirsiniz, eğer terminale sıkıştırmanız gerekiyorsa.

google colab aracılığıyla hiçbir şey yüklemeden bile yapabilirsiniz.

Bu şekilde eğitmek için xbox kullandım :)

 
Maxim Dmitrievsky #:

R'de her şeyi yapın, python'daki modeli yalnızca sonuncusunu eğitmek için, eğer terminale sıkıştırmak gerekirse

google colab araciliğiyla hi̇çbi̇r şey yüklemeden bi̇le yapabi̇li̇rsi̇ni̇z

Burada R'nin her şeye sahip olduğu ilkesinin ihlali söz konusu, neredeyse Yunanistan gibi) Benim için bu, orada gerekli bir şeyin olmadığı ilk durum. Belki de dil konumundan vazgeçmeye başlıyor.

Maxim Dmitrievsky #:

Böyle öğretmek için xbox kullandım :)

Muhtemelen bir buzdolabı ve bir ütü ile bir TV seti ağı aracılığıyla öğretmek mümkündür).

 
Aleksey Nikolayev #:

R'nin her şeye sahip olduğu ilkesini ihlal etmekle ilgili, neredeyse Yunanistan gibi)

Hiçbir şey mükemmel değildir.
R'nin topluluğu Python'unkinden 100 kat daha küçük.

R'nin sahip olmadığı ve muhtemelen asla sahip olamayacağı pek çok şey var.

Kendi alanında - istatistik, MO, veri ile çalışma (ihtiyacımız olan şey) en iyisi, ancak bu alanın dışında diğer dillerin R ile kolayca rekabet edebileceğini düşünüyorum.
 
Aleksey Nikolayev #:

Burada R'nin her şeye sahip olduğu ilkesini ihlal etme meselesi, neredeyse Yunanistan gibi) Benim için ilk kez orada gerekli bir şey yok. Belki de dil zemin kaybetmeye başlıyor.

Belki de bir buzdolabı ve bir ütü ile TV setinin ağı üzerinden öğretmek mümkündür)

R'de onnx gerçekten bu kadar gerekli mi?

Temel olarak ONNX, bir model/fonksiyon/modül çalıştırılırken yazılan bir dizi temel matematiksel işlemdir. Desteklenen herhangi bir dizi ONNX'e çevrilebilir. Ancak bunların hepsi çok gevşek bir şekilde standartlaştırıldığından, bu konuyu öğrenmek, uygulamak veya yalnızca dahili dönüştürücüleri olan paketleri uygulamak ekstra çaba gerektirir.

R'de MOJO'da kaydedilmiş H2O modelini Python dönüştürücü ile dönüştürmeyi denedim (sadece JSOM, MOJO'dan ONNX'e dönüştürücüler var) işe yaramadı. Bu konuyu daha derinlemesine araştırmak gerekiyor.

Kütüphaneleri R'ye dönüştürme olasılığı için bir istek gönderdim (Torch, H2O, XGBoost). Sadece sonuncusu yanıt verdi ve bir JSON dönüştürücü sözü verdi. Şu ana kadar bir sonuç yok.

Genel olarak, ONNX uygulamasının bu avantajlarının onu inceleme ve kullanma çabalarına değip değmeyeceğini değerlendirmek gerekir. Buna herkes karar vermelidir.

İncelediğim tüm dönüştürücü paketleri arasında en gelişmiş, iyi belgelenmiş ve anlaşılabilir olanı (bence) spox (v0.6.1).

İyi şanslar

spox
  • 2023.03.14
  • pypi.org
A framework for constructing ONNX computational graphs.
 
Aleksey Nikolayev #:

Burada R'nin her şeye sahip olduğu ilkesini ihlal etmek söz konusu, neredeyse Yunanistan gibi) Benim için orada gerekli bir şey olmadığı ilk kez oluyor. Belki de dil zemin kaybetmeye başlıyor.

Belki de bir buzdolabı ve bir ütü ile TV setinin ağı üzerinden öğretmek mümkündür)

Bu noktada, belki de evrimsel çıkmaz sokağa güvenle girebilir ve diğer normal türlere yol verebiliriz :D

 
Vladimir Perervenko #:

Genel olarak, ONNX uygulamasının bu avantajlarının onu öğrenmek ve kullanmak için harcanan çabaya değip değmeyeceğini değerlendirmek gerekir. Buna herkes karar vermelidir.

Aynen burada birçok kez söylediğim gibi--

kimsenin çalışan bir modeli yok, ancak herkesin onnx aracılığıyla derin bir modelin nasıl uygulanacağını bilmesi gerekiyor :)

 
mytarmailS #:

Aynen burada defalarca söylediğim gibi.

kimsenin çalışan bir modeli yok, ancak herkesin onnx aracılığıyla derin bir modelin nasıl uygulanacağını bilmesi gerekiyor :)

En azından geliştiriciler tarafından yapılan işe saygı duymak için önerilen özelliği hissetmek ve incelemek gerekir. Ve uygulayıp uygulamamaya herkes kendisi karar versin. Ayrıca, bugün karmaşık ve anlaşılmaz ve yarın bu dönüşüm sürecini basitleştirmek için bir fırsat olabilir.

Yanlış ifade ettiniz: "Kimsenin çalışan bir modeli yok..." Forumun piyasada gerçekten çalışan çok fazla model görmediğini söyleyebilirim. Ama bu iyi bir şey. Kimse zor kazandığı parayı bir hiç uğruna vermeyecektir.

İyi şanslar

 
Vladimir Perervenko #:

En azından geliştiriciler tarafından yapılan işe saygı duymak, önerilen fırsatı incelemek gerekir. Ve bırakın herkes kullanıp kullanmayacağına kendisi karar versin. Ayrıca, bugün karmaşık ve anlaşılmazdır ve yarın dönüşüm sürecini basitleştirmek mümkün olabilir.

Evet, elbette yapılanlar iyidir) ve faydalı olacaktır ...

Sadece bazı mantıksal eylem ve düşünce sırasını takip etmek gerekir....

OLMAYAN bir modeli piyasaya sürmek için önemli ve gerekli bir teknolojiyi öğrenmek için çok fazla kaynak ve zaman harcamak tutarlı değildir....

Vladimir Perervenko #:

Yanlış formüle ediyorsunuz: "Kimsenin çalışan bir modeli yok..."

Düzeltileceğimden şüphelenmiştim....

Evet, elbette büyük çoğunluk > %95~99,9 demek istemiştim.