Apprendre ONNX pour le trading - page 8

Nouveau commentaire
 

Comment convertir presque n'importe quel modèle PyTorch en ONNX et le servir à l'aide d'un flacon



Comment convertir presque n'importe quel modèle PyTorch en ONNX et le servir à l'aide d'un flacon

Le didacticiel vidéo montre comment convertir un modèle PyTorch au format ONNX et le servir à l'aide de Flask. Le présentateur commence par importer l'ensemble de données et définir le modèle à l'aide de données parallèles, suivi du chargement des poids du modèle et de son exportation vers ONNX. La vidéo montre comment créer un point de terminaison Flask pour servir le modèle ONNX, suivi de la conversion des tenseurs en tableaux numpy et de l'obtention de la sortie du modèle. L'orateur applique également la fonction sigmoïde à la sortie du modèle pour la convertir en une probabilité comprise entre 0 et 1. Enfin, il bascule l'appareil sur CPU pour une comparaison équitable et démontre le temps de réponse plus rapide de l'API. La vidéo se termine en notant qu'il existe de nombreuses façons d'optimiser les modèles ONNX pour améliorer les performances et en invitant les téléspectateurs à partager leurs commentaires dans la section des commentaires.

  • 00:00:00 Dans cette section, la vidéo explique comment convertir des modèles PyTorch au format ONNX et comment créer un point de terminaison Flask pour le servir. La vidéo utilise le modèle de sentiment d'oiseau comme modèle de base, avec de légères modifications des paramètres de longueur maximale et de taille de lot. La vidéo décrit ensuite l'importation des dépendances nécessaires et l'écriture de la fonction principale pour la conversion, y compris la spécification de la forme d'entrée. La vidéo explique également comment enregistrer le modèle converti et comment créer un point de terminaison Flask pour servir le modèle.

  • 00:05:00 Dans cette section de la vidéo, le présentateur explique comment convertir un modèle PyTorch en ONNX et le servir à l'aide de Flask. Ils commencent par importer le jeu de données, puis définissent le modèle à l'aide de données parallèles. Ensuite, ils chargent les poids du modèle et mettent le modèle en mode d'évaluation. Ils montrent comment obtenir les entrées en examinant le modèle et en déterminant que les entrées sont des ID, un masque et des ID de type de jeton. Le présentateur montre ensuite comment exporter le modèle au format ONNX, en spécifiant les trois noms d'entrée et le nom de sortie. Ils définissent également l'axe dynamique, qui est un dictionnaire qui spécifie quelles entrées ou sorties ont une forme dynamique.

  • 00:10:00 Dans cette section, la vidéo montre comment convertir un modèle PyTorch au format ONNX à l'aide du code "convert to ONNX" pour exécuter le modèle à l'aide de Flask. Le modèle PyTorch est d'abord converti en ONNX, puis un nouveau fichier est créé pour faire des prédictions à partir du modèle ONNX. La vidéo montre comment spécifier une session pour le modèle ONNX, démontrant que le runtime ONNX peut être importé, puis le modèle peut être chargé dans la session d'inférence. La vidéo explique que la sortie et l'envoi du modèle à l'appareil ne sont pas nécessaires et qu'il y aura quelque chose en retour.

  • 00:15:00 Dans cette section du didacticiel vidéo, l'orateur montre comment créer un dictionnaire simple pour l'entrée ONNX dans PyTorch, ce qui est crucial car ONNX n'accepte pas tous les tenseurs. Le dictionnaire se compose de clés sous forme de noms et de valeurs sous forme de tenseurs PyTorch. Pour convertir les tenseurs en erreurs numpy, une fonction to numpy est créée à l'aide des commandes 'detach' et 'requires grad'. L'orateur montre ensuite comment obtenir la sortie du modèle en appelant la fonction model.run avec des arguments pertinents. Enfin, la sortie peut être imprimée directement ou renvoyée pour être utilisée dans Flask.

  • 00:20:00 Dans cette section, le présentateur applique une fonction sigmoïde à la sortie du modèle PyTorch afin de convertir la sortie en une probabilité comprise entre 0 et 1. Ils montrent comment écrire une fonction sigmoïde simple, puis l'incorporer dans l'API Flask pour le modèle ONNX. Ils montrent également comment démarrer l'API sur un hôte et un port locaux et montrent comment tester l'API à l'aide d'une requête curl. Enfin, le présentateur bascule l'appareil sur CPU pour plus d'équité par rapport à l'ancienne API, qui s'exécutait sur GPU, et exécute à nouveau l'API pour démontrer le temps de réponse plus rapide.

  • 00:25:00 Dans cette section de la vidéo, l'orateur conclut le didacticiel sur la façon de convertir des modèles PyTorch en ONNX et de les servir à l'aide de Flask. Ils comparent le calendrier des anciennes et des nouvelles demandes, qui semblent similaires, et notent qu'il existe de nombreuses autres optimisations que les utilisateurs peuvent appliquer aux modèles ONNX pour améliorer encore leurs performances. L'orateur encourage les téléspectateurs à expérimenter les possibilités offertes par ONNX pour distribuer des modèles dans différents environnements et conclut en remerciant les téléspectateurs d'avoir regardé et en les invitant à partager leurs suggestions dans la section des commentaires.
 

Comment convertir le modèle PyTorch en Tensorflow | onnx.ai | Apprentissage automatique | Magie des données



Comment convertir le modèle PyTorch en Tensorflow | onnx.ai | Apprentissage automatique | Magie des données

Dans cette vidéo, le présentateur montre comment utiliser la bibliothèque Open Neural Network Exchange (ONNX) pour convertir un modèle PyTorch en un modèle TensorFlow. Les avantages et l'utilisation de la bibliothèque ONNX sont discutés en détail, avec un modèle PyTorch créé pour identifier les numéros manuscrits utilisés comme exemple. Le processus de formation du modèle et de sa conversion au format ONNX est illustré, avant de le charger dans TensorFlow pour la prédiction sur des exemples d'images. Le modèle TensorFlow résultant est enregistré en tant que fichier .pb, montrant comment la bibliothèque ONNX peut être utilisée pour convertir n'importe quel modèle PyTorch en TensorFlow.

  • 00:00:00 Dans cette section, le présentateur explique comment convertir un modèle PyTorch en un modèle TensorFlow à l'aide de la bibliothèque Open Neural Network Exchange (ONNX). La bibliothèque ONNX est une bibliothèque open source qui vise à accroître la compatibilité entre les différentes bibliothèques d'apprentissage automatique du secteur. Le présentateur explique les avantages et l'utilisation de la bibliothèque et montre comment l'installer et ses bibliothèques dépendantes. Un modèle PyTorch est créé pour identifier les nombres manuscrits, et le présentateur montre comment former et tester le modèle avec la bibliothèque ONNX. Le code du modèle PyTorch n'est pas discuté en détail car il n'est pas au centre de la vidéo.

  • 00:05:00 Dans cette section, la transcription décrit le processus de conversion d'un modèle PyTorch formé en un modèle TensorFlow à l'aide de la bibliothèque Neural Network Exchange (ONNX). Tout d'abord, le modèle PyTorch est formé et enregistré en tant que fichier mnist.pth. Le modèle est ensuite converti au format ONNX et chargé dans TensorFlow pour faire des prédictions sur des exemples d'images. Enfin, le modèle TensorFlow est enregistré en tant que fichier .pb. Le processus montre comment utiliser la bibliothèque ONNX pour convertir n'importe quel modèle PyTorch en TensorFlow.

  • 00:10:00 Cet extrait ne fournit aucun contenu pertinent pour le résumé car il se compose uniquement de remarques de conclusion de l'orateur, y compris un message de remerciement et un appel à l'action pour que les téléspectateurs aiment et s'abonnent. L'orateur invite également les téléspectateurs à poser des questions et fournit des liens vers le code et les ressources utilisées dans la vidéo.
 

Comment convertir le modèle Tensorflow / les modèles tflite en ONNX



Comment convertir le modèle Tensorflow/modèles tflite en ONNX pour l'importer dans l'unité

tf2onnx convertit les modèles TensorFlow (tf-1.x ou tf-2.x), tf.keras et tflite en ONNX via la ligne de commande ou l'API Python.

https://github.com/onnx/tensorflow-onnx

 

Convertir le modèle Pytorch (pytorch lightning) en modèle onnx avec une taille de lot variable



Convertir le modèle Pytorch (pytorch lightning) en modèle ONNX avec une taille de lot variable

Dans ce didacticiel, nous apprendrons comment convertir le modèle Pytorch (foudre pytorch) en modèle ONNX avec une taille de lot variable/dynamique.

 

296 - Conversion du modèle formé par Keras au format ONNX - Exemple de classification d'image



296 - Conversion du modèle formé par Keras au format ONNX - Exemple de classification d'image

Le didacticiel vidéo couvre le processus de conversion d'un modèle de classification d'images formé Keras au format ONNX pour le déploiement. L'orateur montre comment créer un modèle à l'aide de Keras, le compiler et l'enregistrer en tant que fichier H5 avant de le convertir au format ONNX. Ils fournissent un guide étape par étape sur la façon d'importer les bibliothèques nécessaires pour la conversion ONNX, de charger le modèle H5 enregistré et de le convertir au format ONNX à l'aide d'une seule ligne de code. Le présentateur montre ensuite comment utiliser le modèle ONNX résultant dans une session d'exécution ONNX, montre comment prédire les classes dans un exemple de classification d'images à l'aide d'ONNX et compare les probabilités des prédictions à l'aide d'ONNX et de Keras. L'orateur souligne l'efficacité et les avantages de l'utilisation d'ONNX pour le déploiement et note la simplicité de la conversion d'un fichier HDF existant en ONNX.

  • 00:00:00 Dans cette section, l'orateur discute du processus de conversion d'un modèle formé Keras au format ONNX, en particulier pour la classification des images. Ils expliquent que ONNX est un format intermédiaire qui peut convertir des modèles enregistrés dans divers formats de fichiers tels que H5, pour fonctionner sur différents runtimes tels que le runtime ONNX. L'orateur guide le public dans la création d'un modèle de classification d'image simple avec Keras, en l'enregistrant sous forme de fichier H5, puis en le convertissant au format ONNX. Ils comparent ensuite la précision des deux formats et discutent des différentes optimisations pouvant être ajoutées aux modèles ONNX. L'orateur met également l'accent sur l'installation des bibliothèques nécessaires pour Keras, en plus du runtime ONNX et du H5 Pi, pour effectuer des inférences.

  • 00:05:00 Dans cette section, le présentateur discute de l'ensemble de données utilisé pour la formation et le test du modèle, qui comprend 50 000 petites images affectées à la formation et 10 000 aux tests. Les images sont 32 par 32 par 3, et il les normalise en mettant les valeurs à l'échelle entre 0 et 1. Ensuite, le présentateur convertit les valeurs codées en nombres entiers en valeurs catégorielles et définit un modèle avec des couches convolutives, une normalisation par lots, un abandon et softmax activation pour renvoyer 10 valeurs représentant les probabilités de chaque classe. Enfin, il compile le modèle à l'aide de l'optimiseur de descente de gradient stochastique et suit les mesures de précision tout en minimisant la fonction de perte de l'entropie croisée catégorielle. Le présentateur démontre également l'utilisation du rappel d'arrêt précoce pour terminer le processus de formation après dix époques.

  • 00:10:00 Dans cette section, l'intervenant explique comment il a formé un modèle à l'aide de Keras et l'a enregistré au format H5 avant de passer à sa conversion au format ONNX. Ils montrent comment charger le modèle enregistré, importer les bibliothèques nécessaires pour la conversion ONNX et utiliser la seule ligne de code requise pour convertir le modèle Keras au format ONNX. Ils montrent ensuite comment utiliser le modèle ONNX résultant dans une session d'exécution ONNX et comparent les vitesses pour démontrer les avantages de l'utilisation d'ONNX pour le déploiement.

  • 00:15:00 Dans cette section, l'orateur explique comment utiliser ONNX pour prédire les classes dans un exemple de classification d'images. Tout d'abord, ils montrent comment obtenir les noms d'entrée et de sortie du modèle. Ensuite, ils montrent comment étendre les dimensions pour préparer l'image à l'inférence. Après avoir défini la vérité terrain, ils exécutent la prédiction et calculent la classe prédite à l'aide de argmax. Enfin, ils tracent les résultats et comparent les prévisions à l'aide d'ONNX et de Keras. Les probabilités sont presque identiques, démontrant l'efficacité d'ONNX pour les tâches de classification d'images.

  • 00:20:00 Dans cette section, l'orateur démontre la conversion réussie d'un modèle Keras formé au format ONNX pour la classification des images. Les résultats de probabilité sont affichés pour diverses images de test, le modèle obtenant d'excellents résultats après avoir été formé pendant 50 époques. L'orateur note que la conversion d'un fichier HDF existant en ONNX est un processus simple et fait allusion à un prochain didacticiel sur la segmentation d'image.
 

297 - Conversion du modèle formé par keras au format ONNX - Segmentation sémantique


297 - Conversion du modèle formé par keras au format ONNX - Segmentation sémantique

Cette vidéo se concentre sur la conversion d'un modèle formé par Keras au format ONNX pour la segmentation sémantique d'images de microscopie électronique de mitochondries. Le présentateur fournit des étapes détaillées sur la façon de recadrer et de charger des images, d'utiliser des techniques d'augmentation de données, de définir des générateurs pour la formation et la validation, de former et d'enregistrer le modèle. La vidéo couvre également la conversion du modèle au format ONNX à l'aide de la bibliothèque tf2onnx.convert et l'utilisation du modèle ONNX pour la prédiction. Le présentateur met en évidence les meilleures pratiques de formation et de conversion et fournit des liens vers leurs vidéos précédentes sur la segmentation multi-classes. Le didacticiel se termine avec le présentateur déclarant que c'est la fin de la série ONNX et qu'il se concentrera sur d'autres sujets dans la prochaine vidéo.

  • 00:00:00 Dans cette section, le présentateur s'appuie sur les vidéos précédentes où il a montré comment enregistrer les poids d'un modèle formé Keras sur ONNX et effectuer une inférence à l'aide du modèle converti. Cette fois, ils expliquent comment former et enregistrer un modèle de segmentation sémantique dans ONNX. Ils utilisent un ensemble de données de microscopie électronique de mitochondries, où ils ont des images brutes et étiquetées. Le présentateur montre comment recadrer les images dans des tailles appropriées, les charger dans le réseau neuronal et utiliser le modèle d'unité simple pour effectuer une segmentation binaire. Ils expliquent comment fonctionne le modèle d'unité simple et fournissent des liens vers leurs vidéos précédentes où ils expliquaient des réseaux de neurones plus complexes pour la segmentation sémantique multi-classes.

  • 00:05:00 Dans cette section, l'auteur explique le processus de division d'un petit ensemble de données de 165 images en 12 images à des fins de formation. Ils appliquent la bibliothèque patchify pour diviser les images et les masques en patchs plus petits de 256x256 pixels. Ils discutent également de quelques images aléatoires en tant que "vérification de l'intégrité" pour s'assurer que les images et les masques s'alignent avec précision. L'auteur utilise des techniques d'augmentation des données telles que la plage de décalage de hauteur, la plage de cisaillement et la plage de zoom pour généraliser les résultats. Ils mentionnent également comment s'assurer que les transformations aléatoires ne sont pas vraiment aléatoires et que la même graine est utilisée pour générer des transformations dans les images et les masques afin de maintenir le même caractère aléatoire. Enfin, l'auteur définit les générateurs qui seront utilisés pour la formation et la validation, et les graines sont fixées pour la cohérence.

  • 00:10:00 Dans cette section, l'orateur se prépare à former un modèle d'unité pour la segmentation sémantique en utilisant les meilleures pratiques, et combine le générateur d'image et de masque en un seul. Ils définissent ensuite la taille de leur lot et les étapes par époque avant de passer à la formation du modèle, en appliquant un seuil de 0,5 pour convertir la sortie de probabilité en sortie binaire. Bien que le modèle puisse utiliser plus d'images d'entraînement, il fait un assez bon travail de segmentation des images. L'orateur enregistre ensuite le fichier H5 et procède à sa conversion en onnx à l'aide de la bibliothèque TF2 to onnx.

  • 00:15:00 Dans cette section, la vidéo explique comment convertir un modèle formé Keras au format ONNX à l'aide de tf2onnx.convert. Après avoir chargé le modèle, des optimisations peuvent être ajoutées avant de l'enregistrer en tant que fichier .onnx. De plus, la vidéo montre l'utilisation du modèle ONNX dans une session d'exécution pour la prédiction, montrant des résultats identiques au modèle Keras. La vidéo se termine en indiquant que ce didacticiel est la fin de la série ONNX, et le présentateur se concentrera sur d'autres sujets dans la vidéo suivante.
 

Prise en charge de l'exportation PyTorch ONNX - Lara Haidar, Microsoft



Prise en charge de l'exportation PyTorch ONNX - Lara Haidar, Microsoft

Lara Haidar de Microsoft explique les avantages de la fonction d'exportation de modèles PyTorch ONNX, permettant de déplacer des modèles de la recherche à la production et de les exécuter sur divers matériels. Elle déclare que le runtime ONNX est devenu très populaire, avec des millions d'appareils qui l'utilisent maintenant et réalisent des gains de performances notables. De plus, le support d'exportation ONNX inclut désormais des améliorations dans la couverture des modèles, l'optimisation des performances et la prise en charge du backend pour garantir que les modèles peuvent s'exécuter sur différentes versions avec différents backends. Enfin, Lara encourage les utilisateurs à tester les modèles exportés et à partager leurs commentaires pour améliorer encore la fonctionnalité.

 

Utilisation d'appareils alimentés par ONNX avec Qualcomm, des smartphones à la périphérie du cloud et tout le reste



Utilisation d'appareils alimentés par ONNX avec Qualcomm, des smartphones à la périphérie du cloud et tout le reste

L'utilisation du format d'échange ONNX dans toute la gamme d'appareils de Qualcomm aide à prendre en charge les modèles sur tous leurs appareils. Qualcomm est confronté à des architectures difficiles lorsqu'il prend en charge différents appareils et différents modèles, mais ONNX aide à atteindre l'évolutivité sur les marchés verticaux, les appareils puissants et les zones géographiques. Qualcomm a travaillé avec Microsoft pour créer un fournisseur d'exécuteur d'exécution ONNX qui permet aux modèles ONNX d'être exécutés sur des appareils alimentés par Qualcomm, y compris ceux exécutant Windows. La pile logicielle unifiée comprend une bibliothèque appelée moteur AI qui peut acheminer dynamiquement le modèle ONNX vers différents accélérateurs pour obtenir les meilleures performances, avec des outils supplémentaires disponibles tels que des profileurs, des compilateurs et des analyseurs pour optimiser les modèles.

  • 00:00:00 Dans cette section, le conférencier de Qualcomm explique comment ils utilisent ONNX pour prendre en charge leur gamme d'appareils, des minuscules écouteurs aux ordinateurs portables, aux caméras sécurisées et même aux équipements automobiles. Ils mentionnent que le format d'échange d'ONNX leur permet de cibler un modèle et de l'utiliser sur tous les appareils qu'ils prennent en charge. Ils discutent également des architectures difficiles auxquelles ils doivent faire face pour prendre en charge les différents appareils ainsi que des différents modèles, implémentations et exigences de fonctionnalités. À titre d'exemple, ils parlent de l'utilisation de la technologie de capteur de profondeur d'Apple pour l'authentification sur les téléphones mobiles et de la façon dont ils ont maintenant intégré la même technologie dans des caméras et des automobiles sécurisées.

  • 00:05:00 Dans cette section, l'orateur discute du défi d'évolutivité auquel l'industrie est confrontée aujourd'hui dans le domaine de l'IA. Il explique comment Qualcomm a relevé le défi et les avantages de l'utilisation d'ONNX comme format d'échange pour atteindre l'évolutivité. En déplaçant les algorithmes du processeur vers les accélérateurs IA, les appareils peuvent être facilement mis à l'échelle. L'architecture multicœur permet au système d'atteindre des performances plus élevées, ce qui facilite le travail avec les flux vidéo en direct. De plus, le format d'échange permet de gagner un temps considérable car il n'est pas nécessaire de traiter avec d'autres frameworks. Enfin, l'orateur explique qu'ONNX aide à évoluer sur les marchés verticaux, les appareils petits et puissants et les zones géographiques.

  • 00:10:00 Dans cette section, l'orateur explique comment Qualcomm travaille avec Microsoft pour créer un fournisseur d'exécuteurs d'exécution ONNX pour leur accélérateur d'IA. Cela permet aux modèles ONNX d'être exécutés sur une variété d'appareils alimentés par Qualcomm, y compris les appareils mobiles et automobiles, ainsi que ceux exécutant Windows. Qualcomm a développé une pile logicielle unifiée qui prend en charge une variété de systèmes d'exploitation et comprend une bibliothèque logicielle unifiée appelée moteur AI qui peut acheminer dynamiquement le modèle ONNX vers différents accélérateurs pour obtenir les meilleures performances. Ils disposent également d'une gamme d'outils supplémentaires à la disposition de leurs clients, tels que des profileurs, des compilateurs et des analyseurs, pour créer et optimiser des modèles pour leurs appareils spécifiques.
 

Déploiement ONNX Runtime IoT sur Raspberry Pi



Déploiement ONNX Runtime IoT sur Raspberry Pi

Dans cette vidéo intitulée "ONNX Runtime IoT Deployment on Raspberry Pi", le présentateur montre comment déployer un ONNX Runtime pour un modèle de vision par ordinateur sur un Raspberry Pi à l'aide d'un modèle Mobilenet optimisé pour l'appareil. La vidéo couvre le processus de connexion au Raspberry Pi à l'aide de la visionneuse VNC, sa configuration et l'exécution d'un test de caméra à l'aide d'OpenCV et de Python. Le présentateur capture une image, exécute l'inférence et imprime les cinq premières classes prédites, qui identifient correctement le stylo plume dans l'image. Dans l'ensemble, la vidéo fournit un guide utile pour déployer ONNX Runtime sur un Raspberry Pi pour les applications de vision par ordinateur.

 

Comment installer ONNX Runtime sur Raspberry Pi



Comment installer ONNX Runtime sur Raspberry Pi

La vidéo fournit un guide détaillé sur la façon d'installer ONNX Runtime sur Raspberry Pi. Après avoir téléchargé et installé Raspbian Stretch sur le Raspberry Pi, l'utilisateur doit installer le package statique utilisateur Docker et QMU, créer un répertoire de construction et exécuter une commande pour obtenir le package de roue ONNX Runtime, qui peut être installé via pip. La vidéo explique également comment tester ONNX Runtime à l'aide d'un réseau neuronal profond formé sur l'ensemble de données MNIST et comment calculer le temps nécessaire pour exécuter une session d'inférence sur une seule image. L'orateur note que le processus peut être long et compliqué, mais qu'il en vaut la peine pour pouvoir déployer et tester des réseaux de neurones sur des appareils périphériques.

  • 00:00:00 Le système d'exploitation a été publié par Raspberry Pi et vous pouvez télécharger Raspberry Pi OS (anciennement Raspbian) Stretch à partir d'ici. Une fois que vous avez téléchargé et installé Docker sur votre Raspberry Pi, l'étape suivante consiste à accéder au référentiel ONNX Runtime Github et à rechercher le Dockerfile pour la plate-forme ARM32v7. Il existe différents Dockerfiles disponibles pour différentes plates-formes, mais ARM32v7 est celui dont vous avez besoin pour Raspberry Pi. Une fois que vous avez trouvé le bon Dockerfile, vous pouvez suivre les instructions fournies pour installer ONNX Runtime sur votre Raspberry Pi. Cela peut être un processus un peu long et compliqué, mais cela en vaut la peine pour pouvoir déployer et tester des réseaux de neurones sur des appareils périphériques.

  • 00:05:00 Dans cette section, l'orateur explique comment installer ONNX Runtime sur Raspberry Pi. Tout d'abord, l'utilisateur doit télécharger le fichier Raspbian Stretch et l'imageur Raspberry Pi pour rendre la carte SD amorçable. Une fois Raspbian Stretch installé sur Raspberry Pi, l'utilisateur doit installer Docker et le package statique utilisateur QMU. Après avoir créé un répertoire de construction, l'utilisateur doit enregistrer le fichier Dockerfile mis à jour dans le répertoire de construction et exécuter la commande pour obtenir le package de roue ONNX Runtime. Une fois le fichier wheel installé avec pip et testé, il peut être importé et ONNX peut être utilisé sur Raspberry Pi avec Python 3 version 3.8.

  • 00:10:00 Dans cette section, l'orateur explique comment utiliser ONNX Runtime sur Raspberry Pi pour tester un modèle qui a été formé sur un ensemble de données particulier. L'orateur a déjà formé un réseau neuronal profond qui peut effectuer une classification numérique à l'aide de l'ensemble de données MNIST et a fourni un lien vers le code et le modèle. Après avoir importé les bibliothèques nécessaires, l'orateur crée un script qui exécute une session d'inférence à l'aide d'ONNX Runtime. L'orateur rencontre un défaut de segmentation et après des recherches, découvre les trois niveaux d'optimisation des graphiques que ONNX Runtime peut effectuer et les désactive, exécutant avec succès le script et obtenant la sortie prévue.

  • 00:15:00 Dans cette section, l'orateur explique comment il a calculé le temps que prend son Raspberry Pi pour exécuter une session d'inférence sur une seule image. Ils introduisent un script séparé utilisant la bibliothèque de temps pour calculer le temps nécessaire pour générer la sortie et exécuter le modèle dans le runtime ONNX, ce qui prend environ 0,06 seconde, ce qui, selon le conférencier, est vraiment bon pour un modèle simple et une petite taille d'image. Ils encouragent les téléspectateurs à installer le runtime ONNX sur leur Raspberry Pi et à répondre à toutes questions ou préoccupations.
123456789101112131415
Nouveau commentaire