Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
Distribuisci modelli ML con funzioni di Azure e runtime ONNX
Distribuisci modelli ML con funzioni di Azure e runtime ONNX
Il video mostra come distribuire un modello di machine learning usando ONNX Runtime e Funzioni di Azure in VS Code. Il processo include la creazione di un progetto di funzione di Azure, l'aggiornamento del codice con lo script del punteggio, il caricamento del modello dal percorso del modello, la creazione di una sessione di inferenza con ONNX Runtime e la restituzione dell'output. Il video mostra anche come distribuire la funzione in Azure e testarla lì. Questo metodo consente una distribuzione efficiente dei modelli tramite Funzioni di Azure e il runtime ONNX, consentendo un facile accesso ai risultati.
Distribuzione su desktop con ONNX
Distribuzione su desktop con ONNX
Nel video "Distribuzione su desktop con ONNX", Alexander Zhang illustra le sfide della distribuzione su desktop e le soluzioni offerte da ONNX. Il supporto dei desktop ha le sue sfide in quanto vi è meno controllo sulle restrizioni di sistema sulla GPU o sul sistema operativo, oltre a una significativa diversità nelle GPU desktop. Per affrontare queste sfide, Alexander si affida a diverse librerie di inferenza per ciascuno dei fornitori di hardware supportati da Topaz Labs. ONNX viene utilizzato per specificare lo stesso modello per tutte queste librerie, fornendo risultati relativamente coerenti su hardware diverso risparmiando lavoro manuale su ciascun modello. Tuttavia, le conversioni ONNX possono creare vari problemi, come ambiguità, incoerenza e discrepanze di qualità, richiedendo agli sviluppatori di eseguire conversioni di prova e utilizzare esplicitamente gli offset ONNX più recenti. Per massimizzare il throughput tramite il batch e potenzialmente eseguirli su più dispositivi e librerie in parallelo, suddividono le immagini in blocchi e selezionano una dimensione appropriata in base alla VRAM, quindi eseguono i blocchi tramite inferenza.
Distribuzione di modelli ONNX su Flink - Isaac Mckillen-Godfried
Distribuzione di modelli ONNX su Flink - Isaac Mckillen-Godfried
Isaac McKillen-Godfried discute le sfide dell'incorporazione di modelli di apprendimento automatico all'avanguardia dagli ambienti di ricerca nella produzione per un utilizzo efficace. L'obiettivo del discorso è facilitare lo spostamento dei modelli dagli ambienti di ricerca alla produzione e consentire l'incorporazione di modelli all'avanguardia in diverse piattaforme. Spiega i vantaggi del formato ONNX e le diverse opzioni per l'integrazione di modelli di deep learning in Java. Inoltre, discute la distribuzione di modelli ONNX su Flink utilizzando Jep, un interprete Python scritto in Java, e spiega un progetto open source che consente di utilizzare i dati dal connettore Twitter di Flink e quindi filtrare i tweet non in inglese. Il discorso evidenzia anche l'attuale implementazione solo CPU della distribuzione di modelli ONNX su Flink e il potenziale per future implementazioni GPU o ibride.
Distribuzione del modello Tiny YOLOv2 ONNX su Jetson Nano utilizzando DeepStream
Distribuzione del modello Tiny YOLOv2 ONNX su Jetson Nano utilizzando DeepStream
Questo video mostra l'efficienza dell'utilizzo di un modello Tiny YOLOv2 preaddestrato nel formato ONNX per elaborare quattro flussi video contemporaneamente.
I flussi provengono da quattro file distinti e vengono elaborati su Jetson Nano utilizzando DeepStream SDK. Il sistema ha raggiunto un FPS di circa 6,7 durante l'elaborazione di tutti e quattro i video in parallelo.
https://github.com/thatbrguy/Deep-Stream-ONNX
Il motore di inferenza ONNX Runtime è in grado di eseguire modelli di Machine Learning in diversi ambienti
Tempo di esecuzione ONNX
ONNX Runtime è un motore di inferenza open source ottimizzato per prestazioni, scalabilità ed estensibilità, in grado di eseguire nuovi operatori prima che vengano standardizzati. Il formato ONNX consente una facile rappresentazione e distribuzione di modelli sviluppati su strumenti preferiti in modo comune. Microsoft ha stretto una partnership con Xilinx per creare il provider di esecuzione per la libreria software Vitis AI, che consente l'inferenza e l'accelerazione AI sulle piattaforme hardware Xilinx. Il toolkit Vitis AI è costituito da strumenti IP, librerie, modelli e progetti di esempio per sviluppatori FPGA, con numeri di riferimento che mostrano l'accelerazione di picco per le soluzioni di imaging geospaziale. Il provider di esecuzione Vitis AI può essere creato dall'origine o distribuito tramite una libreria software predefinita che sarà presto rilasciata in Azure Marketplace.
Distribuisci i modelli Transformer nel browser con #ONNXRuntime
Distribuisci i modelli Transformer nel browser con #ONNXRuntime
Il video mostra come perfezionare e distribuire un modello BERT ottimizzato su un browser utilizzando ONNXRuntime. Il relatore mostra come convertire il modello PyTorch in formato ONNX utilizzando l'API Transformers, utilizzare ONNXRuntime per quantizzare il modello per la riduzione delle dimensioni e creare una sessione di inferenza. Il video copre anche i passaggi necessari per importare i pacchetti in JavaScript utilizzando WebAssembly e come eseguire input di testo attraverso il modello trasformato per la classificazione delle emozioni. Nonostante una riduzione dell'accuratezza della previsione, le dimensioni ridotte del modello sono ideali per la distribuzione su un browser. Vengono forniti collegamenti al modello, ai set di dati, al codice sorgente e a un post sul blog.
Open Neural Network Exchange (ONNX) nell'azienda: come Microsoft ridimensiona Machine Learning
Open Neural Network Exchange (ONNX) nell'azienda: come Microsoft ridimensiona il machine learning - BRK3012
L'Open Neural Network Exchange (ONNX) viene introdotto come soluzione alle sfide nella distribuzione di modelli di machine learning alla produzione, inclusa la gestione di più framework di formazione e obiettivi di distribuzione, con Microsoft che sta già ampiamente adottando ONNX per prodotti come Bing, annunci Bing e Office 365 ONNX consente la scalabilità e la manutenzione dei modelli di machine learning, nonché significativi miglioramenti delle prestazioni e risparmi sui costi attribuiti all'uso di acceleratori hardware come le GPU. Inoltre, l'ecosistema ONNX include partner come Intel per l'ottimizzazione del runtime, con kit di sviluppo e tecniche di quantizzazione immediatamente disponibili per convertire i modelli FP32 in tipi di dati di precisione inferiore, con conseguente aumento dell'efficienza. I relatori sottolineano inoltre i vantaggi dell'utilizzo di ONNX per l'edge computing, poiché il runtime è flessibile e può distribuire modelli su diverse piattaforme hardware.
#OpenVINO Execution Provider per #ONNX Runtime - #OpenCV Weekly #Webinar Ep. 68
#OpenVINO Execution Provider per #ONNX Runtime - #OpenCV Weekly #Webinar Ep. 68
Il provider di esecuzione OpenVINO per ONNX Runtime è stato l'argomento principale di discussione in questo webinar settimanale OpenCV. Il prodotto mira ad accelerare le prestazioni per i modelli ONNX su hardware Intel, richiedendo al tempo stesso uno sforzo minimo da parte dell'utente. Il webinar ha discusso le sfide dell'implementazione di modelli di deep learning nel mondo reale, con OpenVINO presentato come la soluzione a queste sfide. OpenVINO può ottimizzare i modelli AI per prestazioni efficienti su vari dispositivi e hardware. Il runtime ONNX, un progetto open source progettato per accelerare l'inferenza del machine learning, è stato discusso a lungo. Il webinar ha anche presentato una dimostrazione del miglioramento delle prestazioni ottenuto con OpenVINO Execution Provider per ONNX Runtime, nonché delle sue funzionalità come l'inferenza multi-thread, il supporto completo per vari plug-in e la memorizzazione nella cache dei modelli. È stata discussa anche l'integrazione tra OpenVINO e PyTorch attraverso l'OpenVINO Execution Provider. I relatori hanno risposto alle domande del pubblico su argomenti come la compatibilità con i dispositivi ARM e la potenziale perdita di prestazioni o accuratezza durante l'utilizzo dei formati di interscambio ONNX.
Importazione di reti neurali con ONNX
Importazione di reti neurali con ONNX
Questo video esplora l'importanza del progetto ONNX (Open Neural Network Exchange) nell'apprendimento automatico e i suoi vantaggi nella conversione dei modelli in vari strumenti. Il relatore discute le sfide del caricamento manuale dei modelli o l'utilizzo di strumenti automatizzati e di come ONNX elimina questo problema attraverso il suo modello computazionale basato su grafici. Il relatore sottolinea inoltre i vantaggi di ONNX nella conversione manuale di modelli complessi e la sua compatibilità con diversi framework. Il video tocca i modelli di rete parametrizzati, la struttura di ONNX e le potenziali sfide che possono sorgere durante l'utilizzo del progetto. Nonostante queste sfide, il relatore ritiene che ONNX prospererà grazie al suo sostanziale sostegno da parte di varie aziende.
Importazione ed esportazione di reti neurali con ONNX
Importazione ed esportazione di reti neurali con ONNX
Il video dimostra l'uso di ONNX come specifica multipiattaforma e formato di file per i modelli di machine learning per lo scambio di modelli tra diversi framework di reti neurali. I relatori mostrano come importare ed esportare reti neurali utilizzando ONNX tramite Mathematica e Keras e come ispezionare e importare metadati, nonché impostare metadati durante l'esportazione. Discutono anche dell'esportazione e importazione di modelli tra Core ML, PyTorch e Wolfram Language e dell'importanza di utilizzare l'offset corretto durante la conversione. I relatori discutono del futuro di ONNX, compreso l'ampliamento del supporto per l'importazione e l'esportazione, il miglioramento dei casi complessi per l'importatore e la possibilità di esportare verso più versioni di set di operatori. Inoltre, il relatore spiega la differenza tra ONNX e MXNet e fornisce informazioni su come verificare quali funzioni possono essere esportate su ONNX utilizzando le utility interne.