Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
Apportez la puissance d'ONNX à Spark comme jamais auparavant
Apportez la puissance d'ONNX à Spark comme jamais auparavant
Dans cette vidéo, Shivan Wang de Huawei explique comment apporter la puissance d'ONNX à Spark pour l'inférence. Il discute des défis liés au déploiement de modèles DL sur Spark et comment la communauté Spark a lancé une proposition appelée Spip pour simplifier le processus. L'orateur discute également du processeur d'intelligence artificielle de Huawei, d'Ascent et de l'écosystème d'intelligence artificielle d'Ascent, qui comprend plusieurs modèles de processeurs Ascent et du matériel Atlas. Il suggère d'ajouter Con en tant que nouveau fournisseur d'exécution dans la prochaine exécution pour utiliser directement les modèles ONNX sur le matériel Ascent, sans avoir besoin de traduction de modèle. Enfin, il mentionne que le code POC pour apporter la puissance d'ONNX à Spark est presque terminé et invite les utilisateurs intéressés à laisser un message pour discuter et éventuellement fournir des ressources à des fins de test.
Builders Build #3 - Du Colab à la production avec ONNX
Builders Build #3 - Du Colab à la production avec ONNX
La vidéo illustre le processus de déploiement d'un projet de Colab vers la production à l'aide d'ONNX. Le présentateur couvre divers aspects tels que le prétraitement des signaux, la modification du code pour le déploiement, la création d'un gestionnaire sur AWS Lambda, l'acceptation d'une entrée audio sur un site Web, le téléchargement d'une fonction sur S3 et le déploiement de dépendances pour ONNX. Malgré certaines difficultés, l'orateur déploie avec succès son modèle avec AWS et suggère qu'il peut utiliser un objet de fichier de chargement de navigateur base64 ou des extraits de lecture de fichier audio pour les étapes futures.
De plus, la vidéo présente l'utilisation du modèle SimCLR pour l'apprentissage contrastif dans l'audio, en créant un catalogue de chansons en les introduisant dans le modèle et en l'entraînant avec PyTorch pour atteindre une perte nulle et un rappel à k = 1. Le présentateur discute des défis de l'utilisation de PyTorch en production et propose ONNX comme solution. La vidéo montre comment exporter et charger le modèle PyTorch au format ONNX et exécuter l'inférence. Il montre également comment traiter les fichiers audio à l'aide des bibliothèques Torch Audio et Numpy et résout les problèmes lors de la configuration d'un modèle PyTorch pour le déploiement. La vidéo explique comment faire passer les modèles du développement dans les notebooks Colab aux environnements de production.
Combiner la puissance d'Optimum, OpenVINO™, ONNX Runtime et Azure
Combiner la puissance d'Optimum, OpenVINO™, ONNX Runtime et Azure
La vidéo présente la combinaison d'Optimum, OpenVINO, ONNX Runtime et Azure pour simplifier le flux de travail du développeur et améliorer la précision et la vitesse de ses modèles. Les conférenciers démontrent l'utilisation des fonctions d'assistance, ONNX Runtime et le fournisseur d'exécution OpenVINO pour optimiser les modèles d'apprentissage en profondeur. Ils montrent également comment optimiser les modèles de visages enlacés à l'aide de la quantification dans le cadre de compression de réseau neuronal et illustrent le processus de formation et d'inférence à l'aide d'Azure ML, Optimum, ONNX Runtime et OpenVINO. La démonstration met en évidence la puissance de ces outils pour améliorer les performances des modèles tout en minimisant la perte de précision.
Inférence plus rapide des modèles ONNX | Edge Innovation Series pour les développeurs | Logiciel Intel
Inférence plus rapide des modèles ONNX | Edge Innovation Series pour les développeurs | Logiciel Intel
Le fournisseur d'exécution OpenVINO pour ONNX Runtime est abordé dans cette vidéo. Il s'agit d'un accélérateur de modèles d'apprentissage automatique multiplateforme qui permet le déploiement de modèles d'apprentissage en profondeur sur une gamme d'appareils de calcul Intel. En utilisant la boîte à outils OpenVINO, qui est optimisée pour le matériel Intel, et en définissant le fournisseur comme fournisseur d'exécution OpenVINO dans le code, les développeurs peuvent accélérer l'inférence des modèles ONNX avec des techniques d'optimisation avancées. La vidéo met l'accent sur la simplicité de la modification requise pour utiliser les outils discutés.
Inférence de modèle plus rapide et plus légère avec ONNX Runtime du cloud au client
Inférence de modèle plus rapide et plus légère avec ONNX Runtime du cloud au client
Dans cette vidéo, Emma de Microsoft Cloud et du groupe AI explique l'Open Neural Network Exchange (ONNX) et ONNX Runtime, qui est un moteur hautes performances permettant d'inférer des modèles ONNX sur différents matériels. Emma discute du gain de performances significatif et de la réduction de la taille du modèle que la quantification ONNX Runtime INT8 peut fournir, ainsi que de l'importance de la précision. Elle démontre le flux de travail de bout en bout de la quantification ONNX Runtime INT8 et présente les résultats d'un modèle de base utilisant la quantification PyTorch. De plus, Emma discute de la capacité d'ONNX Runtime à optimiser l'inférence de modèle du cloud au client et comment il peut atteindre une taille inférieure à 300 kilo-octets sur les plates-formes Android et iOS par défaut.
Inférence CPU rapide du modèle de transformateur T5 avec conversion et quantification ONNX
Inférence CPU rapide du modèle de transformateur T5 avec conversion et quantification ONNX
En convertissant le modèle de transformateur T5 en ONNX et en mettant en œuvre la quantification, il est possible de réduire la taille du modèle de 3 fois et d'augmenter la vitesse d'inférence jusqu'à 5 fois. Ceci est particulièrement utile pour déployer un modèle de génération de questions tel que T5 sur un processeur avec une latence inférieure à la seconde. De plus, l'application Gradio offre une interface visuellement attrayante pour le modèle. Le modèle de transformateur T5 de Huggingface est utilisé et la bibliothèque FastT5 est utilisée pour ONNX et la quantification. La mise en œuvre de ces optimisations peut entraîner des économies de coûts importantes pour les déploiements de production de ces systèmes.
Azure AI et environnement d'exécution ONNX
Azure AI et environnement d'exécution ONNX
Le texte couvre divers aspects de l'apprentissage automatique et de son déploiement. Il aborde l'évolution de la science des données, les défis de la compatibilité du framework, l'utilisation d'Azure AI et d'ONNX Runtime pour le déploiement de modèles, la création d'environnements ML et les limites d'ONNX Runtime. L'orateur met l'accent sur la standardisation d'ONNX et sa prise en charge de plusieurs frameworks, ce qui facilite l'optimisation pour différents matériels. La vidéo mentionne également l'absence de référence pour les préférences matérielles et la nécessité d'utiliser plusieurs outils pour surmonter les limites d'ONNX.
Déployez l'apprentissage automatique n'importe où avec ONNX. Modèle Python SKLearn exécuté dans une fonction Azure ml.net
Déployez l'apprentissage automatique n'importe où avec ONNX. Modèle Python SKLearn exécuté dans une fonction Azure ml.net
La vidéo montre comment le runtime ONNX simplifie et standardise le déploiement de modèles d'apprentissage automatique construits dans différents langages et frameworks. Il illustre le processus d'empaquetage d'un modèle Python scikit-learn dans un modèle ONNX et de son déploiement dans une fonction Azure ML .NET. La vidéo souligne que la fonction Azure peut être facilement déclenchée via une requête HTTP POST, ce qui facilite l'appel depuis n'importe quelle application ou site Web, et quel que soit le langage utilisé pour créer le modèle d'apprentissage automatique, il peut être converti en un modèle ONNX et déployé via ML.NET pour s'exécuter de manière cohérente.
Déploiement sur ordinateur avec ONNX
Déploiement sur ordinateur avec ONNX
Dans la vidéo "Déploiement sur ordinateur avec ONNX", Alexander Zhang évoque les défis du déploiement sur ordinateur et les solutions proposées par ONNX. La prise en charge des ordinateurs de bureau présente des défis car il y a moins de contrôle sur les restrictions système sur le GPU ou le système d'exploitation, ainsi qu'une diversité significative des GPU de bureau. Pour relever ces défis, Alexander s'appuie sur différentes bibliothèques d'inférence pour chacun des fournisseurs de matériel pris en charge par Topaz Labs. ONNX est utilisé pour spécifier le même modèle à toutes ces bibliothèques, fournissant des résultats relativement cohérents sur différents matériels tout en économisant le travail manuel sur chaque modèle. Cependant, les conversions ONNX peuvent créer divers problèmes, tels que l'ambiguïté, l'incohérence et les écarts de qualité, obligeant les développeurs à effectuer des conversions de test et à utiliser explicitement les derniers décalages ONNX. Pour optimiser le débit par traitement par lots et potentiellement s'exécuter sur plusieurs appareils et bibliothèques en parallèle, ils divisent les images en blocs et sélectionnent une taille appropriée en fonction de la VRAM, puis exécutent les blocs par inférence.
Déployer des modèles d'apprentissage automatique (TensorFlow/Caffe2/ONNX) - Rapide et facile
Déployer des modèles d'apprentissage automatique (TensorFlow/Caffe2/ONNX) - Rapide et facile
La vidéo montre comment l'apprentissage par transfert peut être utilisé pour classer les images et comment intégrer le modèle de classification d'images dans une application d'utilisateur final à l'aide de Python et TensorFlow. Le présentateur utilise un exemple d'application de commerce automobile pour illustrer les défis rencontrés lorsque les photos ne sont pas téléchargées du point de vue requis et que les étiquettes doivent être vérifiées manuellement, ce qui entraîne ennui et inefficacité. Il explique comment surmonter ces défis en entraînant un réseau de neurones existant à reconnaître les perspectives photographiques à l'aide de la technique d'apprentissage par transfert. Il montre ensuite comment tester et déployer le modèle dans le cloud Oracle à l'aide du projet open source GraphPipe. Enfin, le présentateur souligne l'importance de faire passer les modèles d'apprentissage automatique de la phase de laboratoire à la phase de production.