Apprentissage Automatique et Réseaux Neuronaux - page 10

Nouveau commentaire
 

Geoffrey Hinton et Yann LeCun, conférence du prix ACM AM Turing 2018 "The Deep Learning Revolution"


Geoffrey Hinton et Yann LeCun, conférence du prix ACM AM Turing 2018 "The Deep Learning Revolution"

Geoffrey Hinton et Yann LeCun ont remporté le prix ACM AM Turing 2018 et ont donné une conférence sur la révolution du deep learning.
Au cours de la conférence, ils ont expliqué comment l'apprentissage en profondeur a révolutionné l'informatique et comment il peut être utilisé au profit de divers aspects de la vie. Ils ont également parlé des défis de l'apprentissage en profondeur et de l'avenir du domaine.
Ils ont noté que si la compréhension théorique de l'apprentissage en profondeur est importante, il appartient toujours aux humains de prendre des décisions dans des situations complexes. Ils ont également discuté du potentiel du calcul évolutif et d'autres formes d'intelligence artificielle dans la conduite autonome.

  • 00:00:00 Geoffrey Hinton et Yann LeCun donnent la conférence ACM AM Turing Award 2018, parlant de la révolution de l'apprentissage en profondeur. Ils expliquent comment l'apprentissage en profondeur a révolutionné l'informatique et comment les participants peuvent bénéficier de la participation à des conférences connexes.

  • 00:05:00 Les trois récipiendaires du prix ACM AM Turing 2018 sont Geoffrey Hinton, Yoshua Bengio et Yann LeCun. Hinton donnera une conférence d'histoire sur le développement de l'apprentissage en profondeur, tandis que Kuhn discutera des progrès continus de l'apprentissage en profondeur.

  • 00:10:00 Dans sa conférence ACM AM Turing Award 2018, Geoffrey Hinton discute de la révolution de l'apprentissage en profondeur, qui repose sur l'approche de l'intelligence artificielle inspirée par la biologie. L'approche d'apprentissage en profondeur est plus efficiente et efficace que le paradigme symbolique traditionnel, mais elle est aussi plus difficile à apprendre.

  • 00:15:00 Dans sa conférence ACM AM Turing Award 2018, Geoffrey Hinton a expliqué le fonctionnement des réseaux de neurones, expliquant qu'ils sont une version simplifiée des neurones réels du cerveau. Il a également expliqué comment la rétropropagation est une version efficace de l'algorithme d'apprentissage par renforcement et comment elle peut accélérer le processus de formation des réseaux de neurones d'un facteur 10 ou plus.

  • 00:20:00 Geoffrey Hinton et Yann LeCun ont donné une conférence sur la révolution de l'apprentissage profond lors de la cérémonie de remise des prix ACM Turing. Les deux discutent de la rétro-propagation, de la descente de gradient stochastique et de la façon dont cela n'a pas réussi dans l'apprentissage à grande échelle.

  • 00:25:00 Dans cette conférence, Geoffrey Hinton et Yann LeCun discutent de la révolution de l'apprentissage en profondeur, qui a impliqué le développement de réseaux de neurones plus efficaces. Avec l'augmentation de la puissance de calcul disponible ces dernières années, les réseaux de neurones sont devenus de plus en plus puissants et sont désormais omniprésents dans divers domaines de la vision par ordinateur.

  • 00:30:00 Geoffrey Hinton et Yann LeCun ont présenté une conférence sur l'histoire de l'apprentissage en profondeur et son état actuel, soulignant les succès et les défis du domaine. Ils ont également parlé de l'avenir de la vision par ordinateur, soulignant l'importance de l'apprentissage en profondeur pour obtenir de meilleurs résultats.

  • 00:35:00 Dans sa conférence ACM AM Turing Award 2018, Geoffrey Hinton discute de la révolution de l'apprentissage en profondeur et de son importance pour l'intelligence artificielle. Il note que si l'apprentissage en profondeur est très efficace pour réaliser des tâches spécifiques, ce n'est pas la meilleure façon de faire de la vision. Hinton suggère qu'un aspect de la révolution de l'apprentissage en profondeur qui a été reproduit dans le cerveau est l'utilisation d'appareils répliqués. Il le démontre en demandant à un participant de pointer les coins d'un cube qui est tourné de sorte que le coin supérieur arrière gauche soit verticalement au-dessus du coin avant inférieur droit. Hinton explique que si l'apprentissage en profondeur est efficace pour utiliser un ensemble spécifique de poids pour approximer une sortie souhaitée, il n'est pas efficace pour préserver les symétries des objets. Il prédit qu'à l'avenir, les réseaux de neurones pourront apprendre à reconnaître des objets en utilisant une échelle de temps différente, ce qui sera analogue à la façon dont les synapses changent dans le cerveau.

  • 00:40:00 Dans sa conférence ACM AM Turing Award 2018, Geoffrey Hinton discute de la révolution de l'apprentissage en profondeur, qui, selon lui, est due à l'introduction progressive de nouvelles échelles de temps dans le processus d'apprentissage. Il explique comment la mémoire des apprentissages passés est stockée dans les poids d'un réseau de neurones et comment cette mémoire peut être consultée à l'aide de poids rapides. Hinton parle également de l'impact des mégadonnées sur l'apprentissage en profondeur et de la façon dont les progrès récents du matériel informatique et des logiciels ont rendu l'apprentissage en profondeur plus accessible aux chercheurs.

  • 00:45:00 La conférence de Geoffrey Hinton et Yann LeCun a couvert la révolution de l'apprentissage en profondeur, l'utilité des représentations hiérarchiques et le fonctionnement du Pennebaker Parenting Network.

  • 00:50:00 Geoffrey Hinton et Yann LeCun ont prononcé la conférence du prix ACM AM Turing 2018 sur l'apprentissage en profondeur et son potentiel pour révolutionner divers aspects de la vie. Leurs travaux sur la segmentation des images et les voitures autonomes ont été parmi les plus remarquables.

  • 00:55:00 Geoffrey Hinton et Yann LeCun ont donné une conférence sur la révolution de l'apprentissage en profondeur, expliquant comment les humains et les animaux sont capables d'apprendre efficacement si rapidement. Ils ont également discuté de la façon dont les humains et les animaux apprennent des concepts en observant et en prédisant le monde.
 

Ce génie canadien a créé l'IA moderne



Ce génie canadien a créé l'IA moderne

Geoff Hinton, un pionnier de l'IA, travaille depuis près de 40 ans à faire en sorte que les ordinateurs apprennent comme les humains, et il a révolutionné le domaine de l'intelligence artificielle. Hinton s'est inspiré du perceptron de Frank Rosenblatt, un réseau neuronal qui imite le cerveau, qui a été développé dans les années 1950. La détermination de Hinton a conduit à une percée dans le domaine de l'IA. Au milieu des années 80, Hinton et ses collaborateurs ont créé un réseau neuronal multicouche, un réseau neuronal profond, qui a commencé à fonctionner de nombreuses façons. Cependant, ils manquaient de données et de puissance de calcul nécessaires jusqu'en 2006 environ, lorsque des puces ultra-rapides et des quantités massives de données produites sur Internet ont donné aux algorithmes de Hinton un coup de pouce magique - les ordinateurs pouvaient identifier ce qui se trouvait dans une image, reconnaître la parole et traduire les langues. En 2012, le Canada est devenu une superpuissance de l'IA, et les réseaux de neurones et l'apprentissage automatique ont fait la une du New York Times.

  • 00:00:00 Dans cette section, nous découvrons Geoff Hinton, qui travaille depuis près de 40 ans à faire en sorte que les ordinateurs apprennent comme les humains. Cette poursuite, que tout le monde pensait sans espoir, a révolutionné le domaine de l'intelligence artificielle, et des entreprises comme Google, Amazon et Apple pensent que c'est l'avenir de leurs entreprises. L'inspiration de Hinton est venue de Frank Rosenblatt, qui a développé le perceptron, un réseau neuronal qui imite le cerveau, dans les années 1950. Le réseau de neurones de Rosenblatt était limité et ne fonctionnait pas bien, mais Hinton croyait que les réseaux de neurones pouvaient fonctionner puisque le cerveau n'est qu'un gros réseau de neurones. La détermination de Hinton à poursuivre son idée a conduit à une percée dans le domaine de l'intelligence artificielle, et les entreprises croient que c'est l'avenir de leurs entreprises.

  • 00:05:00 Dans cette section, la vidéo explique comment, au milieu des années 80, Hinton et ses collaborateurs ont progressé dans la création de réseaux de neurones plus complexes capables de résoudre des problèmes que les simples ne pouvaient résoudre. Ils ont créé un réseau neuronal multicouche, un réseau neuronal profond, qui a commencé à fonctionner de nombreuses façons. Cependant, ils ont atteint un plafond car ils manquaient de données nécessaires et de puissance de calcul. Au cours des années 90 et jusque dans les années 2000, Hinton était l'une des rares personnes à poursuivre cette technologie, et il a été traité comme un paria. Jusqu'en 2006 environ, lorsque l'arrivée de puces ultra-rapides et de quantités massives de données produites sur Internet a donné aux algorithmes de Hinton un coup de pouce magique - les ordinateurs pouvaient identifier ce qu'il y avait dans une image, reconnaître la parole et traduire les langues. En 2012, les réseaux de neurones et l'apprentissage automatique faisaient la une du New York Times, et le Canada est devenu une superpuissance de l'IA.
 

Geoffrey Hinton : les fondements de l'apprentissage en profondeur




Geoffrey Hinton : les fondements de l'apprentissage en profondeur

Le parrain de l'intelligence artificielle Geoffrey Hinton donne un aperçu des fondements de l'apprentissage en profondeur. Dans cette conférence, Hinton décompose les avancées des réseaux de neurones, appliquées à la reconnaissance de la parole et des objets, à la segmentation d'images et à la lecture ou à la génération d'un langage écrit naturel.

Geoffrey Hinton aborde les fondements de l'apprentissage profond, en particulier l'algorithme de rétropropagation et son évolution. Hinton explique comment l'apprentissage en profondeur a eu un impact sur la reconnaissance précoce de l'écriture manuscrite et a finalement conduit à remporter le concours ImageNet 2012. Il souligne également la supériorité de l'apprentissage en profondeur utilisant des vecteurs d'activité neuronale sur l'IA symbolique traditionnelle qui utilisait les mêmes symboles en entrée, en sortie et au milieu. Les améliorations apportées aux systèmes de traduction automatique, à la reconnaissance d'images et à leur combinaison pour le raisonnement naturel sont discutées, ainsi que le potentiel d'apprentissage en profondeur dans l'interprétation des images médicales. Hinton conclut en soulignant la nécessité de réseaux de neurones avec des paramètres comparables au cerveau humain pour réaliser un véritable traitement du langage naturel.

  • 00:00:00 Dans cette section, Hinton explique le concept de rétropropagation, qui est l'algorithme fondamental utilisé dans l'apprentissage en profondeur. Il décrit la méthode traditionnelle de programmation d'un ordinateur en écrivant un programme à suivre, étape par étape, par rapport à la méthode préférée consistant à indiquer à un ordinateur comment apprendre via un réseau de neurones contenant un algorithme d'apprentissage. Cette méthode consiste à utiliser des neurones artificiels avec des lignes d'entrée et des poids qui s'adaptent en modifiant la force de ces poids. Hinton explique également le processus d'adaptation de ces connexions en utilisant un algorithme simple qui fonctionne de manière similaire à l'idée d'évolution, où les réseaux peuvent être modifiés jusqu'à ce qu'ils fassent de bonnes choses. Il conclut cette section en décrivant comment le calcul peut être utilisé pour effectuer le même processus plus efficacement.

  • 00:05:00 Dans cette section, Geoffrey Hinton explique les difficultés rencontrées par l'apprentissage en profondeur à ses débuts, en particulier avec l'algorithme de rétropropagation. Au début, les gens avaient abandonné la rétropropagation parce que cela ne fonctionnait pas bien, mais peu d'avancées techniques ont été faites à Toronto, Montréal et New York qui l'ont améliorée de façon exponentielle avec beaucoup de données d'étiquettes et beaucoup de puissance de calcul, ce qui a l'a également rendu évolutif. L'un des problèmes pratiques que l'apprentissage en profondeur a d'abord touché était la reconnaissance de l'écriture manuscrite. Un groupe d'étudiants a essayé d'appliquer l'algorithme de Hinton à la reconnaissance vocale, qui à l'époque ne comptait que quelques millions d'exemples d'entraînement, et il n'était pas considéré comme pratique en termes de statistiques. Cependant, ils ont pu prédire quel phonème était dit et enchaîner des énoncés plausibles, et de tels systèmes de reconnaissance vocale sont maintenant largement utilisés dans divers systèmes de bout en bout.

  • 00:10:00 Dans cette section, Geoffrey Hinton explique comment ils ont utilisé les réseaux neuronaux d'apprentissage en profondeur pour remporter le concours ImageNet en 2012. Le système a pu reconnaître les sujets dans les images avec près de la moitié du taux d'erreur des systèmes de vision par ordinateur conventionnels, ce qui avait plafonné à environ 25 % de taux d'erreur. Ce succès a eu un grand impact lorsque les gens ont réalisé le potentiel des réseaux neuronaux d'apprentissage en profondeur dans la reconnaissance d'images. Hinton explique également comment les réseaux récurrents sont utilisés pour traiter des séquences telles que la parole. Les neurones cachés se connectent entre eux, permettant au système d'accumuler des informations et d'apprendre par rétropropagation. Ces algorithmes ont ensuite été utilisés pour les traductions automatiques en encodant une phrase dans une langue en une pensée, puis en la traduisant en une phrase dans une autre langue.

  • 00:15:00 Dans cette section, Geoffrey Hinton discute du problème de l'IA symbolique et de la manière dont la forme actuelle d'apprentissage en profondeur résout ce problème. La vision traditionnelle de l'IA symbolique supposait que le même type de symboles utilisés en entrée et en sortie était également utilisé au milieu, tandis que les experts en apprentissage profond utilisent des vecteurs d'activité neuronale pour traiter les données. Le texte d'entrée est codé dans un vecteur qui intègre des caractéristiques apprises par le réseau. Le réseau décodeur prend ensuite ce vecteur et produit la pensée, qui est ensuite transformée en un nouveau langage. Fait intéressant, de tels systèmes fonctionnent mieux sans laisser entrer trop de connaissances linguistiques. Au lieu de cela, Google Translate utilise un alphabet fixe de 32 000 fragments d'une langue et entraîne le réseau avec rétropropagation, où il commence avec des poids aléatoires et un volume de données pour améliorer constamment les poids.

  • 00:20:00 Dans cette section, Geoffrey Hinton décrit certaines des améliorations apportées aux systèmes de traduction automatique, telles que l'ajout de l'attention et l'utilisation de fragments de mots au lieu de mots entiers. Il discute également de la combinaison de la reconnaissance d'images et de la génération de langage, et comment cela peut conduire à un raisonnement naturel dans les machines. Malgré le succès de ces systèmes, Hinton suggère que nous aurons besoin de réseaux de neurones avec un certain nombre de paramètres comparables au cerveau humain afin de parvenir à un véritable traitement du langage naturel.

  • 00:25:00 Dans cette section, Geoffrey Hinton discute du potentiel des algorithmes d'apprentissage en profondeur pour dépasser les performances humaines dans l'interprétation des images médicales. Il note qu'il existe déjà un système de détection des cancers de la peau qui est aussi bon qu'un dermatologue, et avec une formation supplémentaire sur plus d'images, il pourrait être beaucoup plus performant. Hinton souligne également qu'un réseau neuronal formé sur des étiquettes produites par des médecins peut parfois surpasser les médecins eux-mêmes, car le réseau peut comprendre ce qui se passe lorsque les médecins ne sont pas d'accord. Enfin, il raconte l'histoire d'un étudiant qui a remporté un concours pour prédire si une molécule se liera à quelque chose en utilisant un réseau neuronal avec plusieurs couches d'unités linéaires rectifiées et beaucoup plus de paramètres que les cas de formation, et l'a fait sans connaître le nom du domaine d'études.
 

Héros de l'apprentissage en profondeur : Andrew Ng interviewe Geoffrey Hinton




Héros de l'apprentissage en profondeur : Andrew Ng interviewe Geoffrey Hinton

Geoffrey Hinton, une figure de proue de l'apprentissage en profondeur, a évoqué son parcours et ses contributions dans le domaine dans une interview avec Andrew Ng. Il parle des origines des incorporations de mots, des développements restreints des machines Boltzmann et de ses travaux récents sur les poids rapides et les capsules. Hinton note le rôle crucial de l'apprentissage non supervisé dans les progrès de l'apprentissage en profondeur et conseille aux apprenants de lire largement, de travailler sur des projets à grande échelle et de trouver des conseillers ayant des intérêts similaires. Hinton pense qu'il y a un changement significatif en cours dans l'informatique, où les ordinateurs apprennent en montrant, et prévient que les universités doivent rattraper l'industrie dans la formation des chercheurs à cette nouvelle approche.

  • 00:00:00 Geoffrey Hinton explique comment il s'est intéressé à l'IA et à l'apprentissage automatique. Au lycée, un ami lui a présenté l'idée du cerveau utilisant des hologrammes, ce qui a suscité son intérêt pour la façon dont le cerveau stocke les souvenirs. Il a étudié la physiologie et la physique à l'université mais est passé à la psychologie lorsqu'il l'a trouvée insuffisante pour expliquer le fonctionnement du cerveau. Après avoir pris un congé pour devenir charpentier, il est allé à Édimbourg pour étudier l'IA avec Longer Higgins, qui était sceptique quant aux réseaux de neurones à l'époque. Hinton a finalement obtenu un doctorat en IA et est allé en Californie, où réfléchir au fonctionnement du cerveau était considéré comme une chose positive. Il a collaboré avec David Rumelhart sur l'algorithme de rétropropagation, qu'ils ont publié en 1986 et a finalement aidé la communauté à accepter l'algorithme.

  • 00:05:00 Dans cette section, Hinton discute des origines des incorporations de mots, qui permettaient à backprop d'apprendre des représentations pour les mots, et du fait que Stuart Sutherland a été impressionné par la façon dont, en entraînant un modèle sur des triplets de mots, le programme pouvait apprendre caractéristiques de la sémantique telles que la nationalité, la génération, etc. Hinton note que le développement des incorporations de mots combinait deux visions différentes de la connaissance (la vision d'un psychologue des concepts en tant qu'ensembles de fonctionnalités avec la vision de l'IA des concepts en tant que relation avec d'autres concepts), ce qui a stimulé le taux d'acceptation de l'article. Au début des années 90, Bengio a montré que les développeurs pouvaient utiliser une approche similaire pour dériver des incorporations de mots à partir de données, ce qui en a impressionné plus d'un. Plus tard, Hinton a parlé des développements réalisés avec les machines boltzmann restreintes (RBM), qui ont été un facteur important dans la résurgence des réseaux de neurones profonds.

  • 00:10:00 Dans cette section, Geoffrey Hinton parle de son travail sur la formation de machines Boltzmann restreintes avec une couche de fonctionnalités cachées et sur l'utilisation de ces fonctionnalités apprises comme données pour former une autre couche. Il explique que cette approche a conduit au développement d'une méthode efficace d'inférence dans les réseaux de croyances sigmoïdes, ce qui constituait une amélioration significative par rapport aux méthodes précédentes. Il discute également de ses travaux sur les méthodes variationnelles et du développement des mathématiques derrière l'utilisation d'unités linéaires rectifiées (ReLU) dans les réseaux de neurones. Enfin, il note qu'en 2014, il a donné une conférence à Google sur l'utilisation de ReLU et l'initialisation avec la matrice d'identité, qui copie des modèles dans la couche inférieure, conduisant à des améliorations significatives dans la formation des réseaux de neurones profonds.

  • 00:15:00 Geoffrey Hinton discute de ses regrets de ne pas avoir poursuivi l'idée d'initialiser les réseaux avec l'identité, ce qui permettrait une formation efficace des réseaux de neurones profonds. Il partage ses réflexions sur la relation entre la rétropropagation et le cerveau, déclarant que si la rétropropagation est un bon algorithme d'apprentissage, alors le cerveau aurait pu trouver comment l'implémenter. Il propose l'idée d'utiliser des poids rapides qui conservent la mémoire à court terme pour gérer plusieurs échelles de temps dans l'apprentissage en profondeur, qu'il a présenté pour la première fois à l'époque de ses études supérieures.

  • 00:20:00 Dans cette section de l'interview, Geoffrey Hinton discute de ses travaux les plus récents sur les poids rapides et les appels récursifs, qui consistent à utiliser des poids rapides pour stocker la mémoire des états d'activité des neurones lors d'un appel récursif. Il parle également de son idée de capsules, qui consiste à représenter des entités multidimensionnelles par un vecteur et à utiliser les activités de différents neurones pour représenter divers aspects de cette caractéristique. Les neurones sont regroupés en petits faisceaux qui représentent différentes coordonnées de la caractéristique ou du sous-ensemble de capsules, chacune capable de représenter une instance d'une caractéristique avec de nombreuses propriétés différentes, plutôt qu'une propriété scalaire, comme dans les réseaux de neurones traditionnels. Ces capsules peuvent ensuite acheminer les informations via un système de routage par accord, ce qui permet un meilleur filtrage et une généralisation des réseaux de neurones à partir de données limitées. Malgré les rejets des articles sur cette idée, Hinton reste optimiste et persistant dans la poursuite des capsules.

  • 00:25:00 Geoffrey Hinton explique comment sa réflexion sur l'IA et l'apprentissage en profondeur a évolué sur plusieurs décennies. Il raconte comment il s'est d'abord intéressé à la rétropropagation et à l'apprentissage discriminatif, puis s'est concentré sur l'apprentissage non supervisé au début des années 90. Hinton parle également de la façon dont l'apprentissage supervisé a incroyablement bien fonctionné au cours de la dernière décennie, mais il croit toujours que l'apprentissage non supervisé sera crucial pour de nouvelles avancées. Il mentionne les auto-encodeurs variationnels et les réseaux antagonistes génératifs comme des idées prometteuses pour l'apprentissage non supervisé. Hinton fournit également des conseils aux personnes qui souhaitent se lancer dans l'apprentissage en profondeur, leur recommandant de lire autant qu'ils le peuvent et d'essayer de travailler sur un projet à grande échelle pour acquérir de l'expérience.

  • 00:30:00 Dans cette section, la conversation tourne autour des conseils aux chercheurs et aux apprenants dans le domaine de l'IA et de l'apprentissage en profondeur. Hinton suggère que les chercheurs créatifs devraient lire un peu de littérature et rechercher quelque chose que tout le monde fait mal, puis trouver comment le faire correctement. Il conseille également de ne jamais arrêter de programmer et de se fier à ses intuitions. Il encourage les étudiants diplômés à trouver un conseiller qui a des convictions et des intérêts similaires aux leurs pour obtenir les conseils les plus utiles. En ce qui concerne l'opportunité de rejoindre un programme de doctorat ou un groupe de recherche de haut niveau dans une entreprise, Hinton note qu'il y a actuellement une pénurie d'universitaires formés à l'apprentissage en profondeur, mais qu'il pense que ce sera temporaire à mesure que les départements rattraperont le paysage changeant de le champ.

  • 00:35:00 Geoffrey Hinton explique qu'il y a un changement significatif dans l'utilisation des ordinateurs, où au lieu de les programmer, nous leur montrons maintenant et ils le comprennent. Cette nouvelle approche de l'informatique est différente et significative, et les départements d'informatique doivent reconnaître et accueillir l'approche montrant qu'elle est aussi importante que la programmation pour avoir un impact sur l'informatique. Bien que les grandes entreprises forment maintenant les gens sur cette nouvelle approche, Hinton pense que les universités ne tarderont pas à rattraper leur retard. Hinton poursuit en expliquant le changement de paradigme dans l'IA, passant d'une croyance selon laquelle les représentations nécessaires à l'intelligence étaient des expressions symboliques d'une logique nettoyée à la vision actuelle selon laquelle les pensées ne sont que de grands vecteurs d'activité neuronale.
 

Héros du Deep Learning : Andrew Ng interviewe Yann LeCun



Héros du Deep Learning : Andrew Ng interviewe Yann LeCun

Dans cette interview entre Andrew Ng et Yann LeCun, LeCun évoque son intérêt précoce pour l'IA et la découverte des réseaux de neurones. Il décrit également son travail sur les réseaux de neurones convolutifs et l'histoire derrière les CNN. LeCun raconte comment il a persisté dans le domaine, malgré le manque d'intérêt pour les réseaux de neurones au milieu des années 90, et finalement son travail sur les CNN a repris le domaine de la vision par ordinateur. Il évoque également le moment décisif de la vision par ordinateur lorsque l'équipe AlexNet a remporté le concours ImageNet 2012 et conseille à ceux qui souhaitent faire carrière dans l'IA et l'apprentissage automatique de se rendre utiles en contribuant à des projets open source ou en mettant en œuvre des algorithmes.

  • 00:00:00 Dans cette section, Yann LeCun parle de son intérêt précoce pour l'intelligence artificielle et de la façon dont il est tombé sur le concept de réseaux de neurones. Il décrit comment il a découvert des articles de recherche sur les réseaux de perceptrons et d'automates, l'inspirant à rechercher comment former des réseaux de neurones à plusieurs couches. Cela l'a amené à rencontrer des personnes dans un laboratoire indépendant en France qui étaient intéressées par la même chose, et finalement à son travail avec les machines Boltzmann.

  • 00:05:00 Dans cette section, LeCun raconte comment il a rencontré Terry Zaleski, qui travaillait sur la rétropropagation à l'époque, et comment ils l'ont tous deux inventé indépendamment avant de se rencontrer. Il mentionne également comment il a commencé à travailler sur les réseaux convolutifs pendant son séjour chez AT&T Bell Labs et comment il les a testés sur un petit ensemble de données qu'il a créé en dessinant des personnages avec sa souris, et comment cela a conduit à la création de l'ensemble de données USPS avec 5 000 formations. échantillons. Il a formé un réseau convolutif sur cet ensemble de données et a obtenu de meilleurs résultats que les autres méthodes utilisées à l'époque.

  • 00:10:00 Dans cette partie de l'interview, Yann LeCun revient sur l'histoire des réseaux de neurones convolutifs, ou CNN. Il parle de la première version du réseau commercial qu'ils ont développée aux Bell Labs, qui n'avait pas de couches de sous-échantillonnage et de mise en commun séparées, et comment ils ont dû apporter des améliorations significatives au réseau pour réduire le temps de calcul. LeCun partage également une histoire intéressante sur le fait de donner une conférence sur CNN, où Geoff Hinton lui a dit que "si vous faites toutes les choses sensées, cela fonctionne réellement". Cependant, malgré les résultats prometteurs, les CNN n'ont pas été largement adoptés en dehors d'AT&T en raison d'un manque d'Internet, de logiciels standardisés et de plates-formes matérielles.

  • 00:15:00 Dans cette section, Yann LeCun discute de son travail sur la reconnaissance de caractères et comment cela l'a amené à lancer le projet "Digital Djvu" pour stocker et compresser numériquement des documents numérisés pour le partage sur Internet. Il raconte également comment il a toujours cru que les techniques d'apprentissage en profondeur finiraient par devenir utiles, en particulier avec la puissance croissante des ordinateurs, mais en raison du manque d'intérêt au milieu des années 90, il y a eu environ 7 ans où personne ne faisait de recherche sur les réseaux de neurones. . Malgré ce revers, LeCun a continué à persister dans le domaine, et ses travaux sur les réseaux de neurones convolutifs ont repris le domaine de la vision par ordinateur et ont commencé à empiéter de manière significative sur d'autres domaines.

  • 00:20:00 Dans cette section de la vidéo, Yann LeCun décrit le moment décisif dans la communauté de la vision par ordinateur lorsque l'équipe AlexNet a remporté le concours ImageNet 2012 par une large marge, surprenant la plupart de la communauté. LeCun poursuit en discutant de son point de vue unique sur la façon dont la recherche en entreprise devrait être effectuée, expliquant qu'il a eu beaucoup de liberté pour configurer Facebook AI Research (FAIR) de la manière qu'il jugeait la plus appropriée, en mettant l'accent sur la recherche ouverte. et la collaboration avec les universités. Il mentionne même que la grande majorité de ses publications au cours des quatre dernières années étaient avec ses étudiants à NYU.

  • 00:25:00 Dans cette rubrique, Yann LeCun conseille à ceux qui souhaitent faire carrière dans l'IA et le machine learning de se rendre utiles en contribuant à un projet open-source ou en implémentant un algorithme et en le mettant à disposition des autres. Il croit que les outils et les ressources disponibles maintenant permettent aux gens de s'impliquer à un certain niveau, même les élèves du secondaire. En apportant des contributions intéressantes et utiles, les individus peuvent se faire remarquer et potentiellement décrocher un emploi dans une entreprise souhaitée ou être acceptés dans un programme de doctorat.
 

Héros de l'apprentissage en profondeur : Andrew Ng interviewe Ian Goodfellow




Héros de l'apprentissage en profondeur : Andrew Ng interviewe Ian Goodfellow

Dans une interview avec Andrew Ng, Ian Goodfellow parle de sa passion pour l'apprentissage en profondeur et de la façon dont il s'est intéressé au domaine pendant ses études à Stanford. Goodfellow discute de son invention des réseaux antagonistes génératifs (GAN) et de leur potentiel dans l'apprentissage en profondeur, tout en soulignant la nécessité de rendre les GAN plus fiables. Il réfléchit à la façon dont sa réflexion sur l'IA et l'apprentissage en profondeur a évolué au fil des ans, de la simple mise en place de la technologie pour les tâches liées à l'IA à l'exploration du plein potentiel des modèles d'apprentissage en profondeur. Goodfellow partage également des conseils pour ceux qui souhaitent s'impliquer dans l'IA, affirmant qu'il est crucial d'écrire un bon code et d'intégrer la sécurité dans les algorithmes d'apprentissage automatique dès le début.

  • 00:00:00 Dans cette section, Ian Goodfellow explique comment il s'est intéressé au domaine de l'IA et de l'apprentissage en profondeur, grâce à son conseiller de premier cycle à Stanford et à la classe d'IA Internet d'Andrew Ng. Il explique comment lui et un ami ont construit l'une des premières machines basées sur GPU CUDA à Stanford, et comment cela a conduit à sa forte intuition que l'apprentissage en profondeur était la voie à suivre à l'avenir. Goodfellow poursuit en parlant de son invention des GAN et de la façon dont il a proposé le concept tout en étudiant des modèles génératifs. Enfin, il revient sur une expérience personnelle qui a réaffirmé son engagement dans la recherche en IA.

  • 00:05:00 Dans cette section, Ian Goodfellow discute du potentiel des réseaux antagonistes génératifs (GAN) et de leur avenir dans l'apprentissage en profondeur. Il explique que bien que les GAN soient actuellement utilisés pour une variété de tâches, ils peuvent souvent être peu fiables, et leur stabilisation est un axe majeur de ses recherches. Goodfellow pense que si les GAN sont importants maintenant, ils seront éventuellement remplacés par d'autres formes de modèles génératifs s'ils ne sont pas rendus plus fiables. Il parle également de son expérience de co-auteur du premier manuel sur l'apprentissage en profondeur et souligne l'importance de comprendre les principes mathématiques sous-jacents pour maîtriser le domaine. Enfin, Goodfellow réfléchit à la façon dont sa réflexion sur l'IA et l'apprentissage en profondeur a évolué au fil des ans, allant du simple fait de faire fonctionner la technologie pour des tâches liées à l'IA à l'exploration du plein potentiel des modèles d'apprentissage en profondeur.

  • 00:10:00 Dans cette section, Ian Goodfellow discute de l'évolution de l'apprentissage en profondeur et de la pléthore de voies qui existent dans l'IA. Il partage des conseils pour ceux qui souhaitent s'impliquer dans l'IA, affirmant qu'écrire un bon code et le mettre sur GitHub peut attirer l'attention, et travailler sur un projet parallèlement à la lecture de livres pourrait être utile. Il parle également de l'importance d'intégrer la sécurité dans les algorithmes d'apprentissage automatique dès le début, au lieu de l'ajouter plus tard. Ces mesures garantiraient la sécurité des algorithmes et éviteraient que des problèmes de sécurité ne surviennent ultérieurement.
 

Héros de l'apprentissage en profondeur : Andrew Ng interviewe Andrej Karpathy




Héros de l'apprentissage en profondeur : Andrew Ng interviewe Andrej Karpathy

Dans une interview avec Andrew Ng, Andrej Karpathy discute de son introduction à l'apprentissage en profondeur à travers un cours avec Geoff Hinton et comment il est devenu la référence humaine pour le concours de classification d'images ImageNet. Il parle des résultats surprenants lorsque les réseaux profonds logiciels ont dépassé ses performances et a décidé d'enseigner aux autres à travers la création d'un cours en ligne. Karpathy discute également de l'avenir de l'IA et de la manière dont le domaine se divisera probablement en deux trajectoires : l'IA appliquée et l'IAG. Il conseille à ceux qui souhaitent entrer dans le domaine de l'apprentissage en profondeur de construire une compréhension complète de l'ensemble de la pile en mettant tout en œuvre à partir de zéro.

  • 00:00:00 Dans cette section, Andrej Karpathy raconte comment il s'est intéressé pour la première fois à l'apprentissage en profondeur pendant ses études de premier cycle à l'Université de Toronto alors qu'il suivait un cours avec Geoff Hinton. Il explique également comment il est devenu la référence humaine pour le concours de classification d'images ImageNet et a créé une interface Javascript pour comprendre comment la référence se compare aux capacités humaines. Il décrit le défi de catégoriser les images dans un millier de catégories et la réalisation surprenante qu'un tiers de l'ensemble de données ImageNet était des chiens, ce qui a conduit à passer un temps inhabituellement long à s'entraîner sur les espèces de chiens.

  • 00:05:00 Dans cette section, Andrej Karpathy parle d'avoir été surpris lorsque les réseaux profonds logiciels ont dépassé ses performances sur certaines tâches. Il explique comment la technologie a été transformatrice et a décidé de l'enseigner aux autres en créant un cours en ligne. La capacité à comprendre la technologie et le fait qu'elle évolue quotidiennement est ce qui a rendu les étudiants enthousiastes. Karpathy parle également de la façon dont le domaine de l'apprentissage en profondeur évolue rapidement et de la généralisation de la technologie. Il est surpris de voir à quel point cela fonctionne non seulement pour ImageNet, mais aussi pour le réglage fin et l'apprentissage par transfert. Il est également surpris de constater à quel point l'apprentissage non supervisé n'a toujours pas tenu la promesse que de nombreux chercheurs espéraient.

  • 00:10:00 Dans cette section, Karpathy discute de l'avenir de l'IA, déclarant que le domaine se divisera probablement en deux trajectoires. Le premier est l'IA appliquée, qui consiste à utiliser des réseaux neuronaux pour un apprentissage supervisé et éventuellement non supervisé, et l'autre est l'IAG, qui se concentre sur la création d'un réseau neuronal unique qui est un système dynamique complet. Il estime que décomposer l'IA en différentes parties puis les assembler est incorrect, et préconise plutôt l'utilisation d'un seul réseau de neurones en tant qu'agent complet pour créer des objectifs qui peuvent optimiser les poids et obtenir un comportement intelligent. Lorsqu'on lui demande des conseils pour ceux qui souhaitent entrer dans le domaine de l'apprentissage en profondeur, Karpathy encourage à développer une compréhension complète de l'ensemble de la pile en mettant tout en œuvre à partir de zéro, plutôt que de simplement travailler avec un framework comme TensorFlow.
 

Heroes of Deep Learning : Andrew Ng interviewe le directeur de la recherche sur l'IA chez Apple, Ruslan Salakhutdinov




Heroes of Deep Learning : Andrew Ng interviewe le directeur de la recherche sur l'IA chez Apple, Ruslan Salakhutdinov

Ruslan Salakhutdinov, directeur de la recherche sur l'IA chez Apple, discute de l'évolution de l'apprentissage en profondeur, des défis de la formation de modèles génératifs et de l'apprentissage non supervisé, et des frontières passionnantes de la recherche en apprentissage en profondeur. Il encourage également les chercheurs à explorer différentes méthodes et à ne pas avoir peur d'innover.
Salakhutdinov souligne l'importance de construire des systèmes basés sur le dialogue et ceux qui peuvent lire le texte intelligemment, et l'objectif ultime d'atteindre des capacités d'apprentissage plus humaines.

  • 00:00:00 Dans cette section, Ruslan Salakhutdinov explique comment il s'est lancé dans l'apprentissage en profondeur, en commençant par une rencontre fortuite avec Jeff Hinton qui lui a présenté le concept d'utilisation de machines Boltzmann restrictives et de formation supervisée. Avec l'aide et les conseils de Hinton, Salakhutdinov a pu co-écrire l'un des tout premiers articles sur les machines Boltzmann restreintes, ce qui a contribué à relancer la résurgence des réseaux de neurones et de l'apprentissage en profondeur. Cependant, à mesure que la puissance de calcul s'améliorait, les chercheurs ont réalisé qu'il n'y avait pas besoin de pré-formation à l'aide de machines Boltzmann restrictives et ont pu former des modèles profonds directement à l'aide de techniques d'optimisation traditionnelles.

  • 00:05:00 Dans cette section, Ruslan Salakhutdinov discute de l'évolution de l'apprentissage en profondeur et de l'importance de la pré-formation au début, lorsque les ordinateurs étaient plus lents. Il mentionne également le défi de la formation de modèles génératifs et de l'apprentissage non supervisé par rapport à l'apprentissage supervisé. Bien qu'il y ait eu des progrès dans la modélisation générative avec des techniques telles que les auto-encodeurs variationnels et les modèles énergétiques comme ceux de son propre laboratoire, il pense que des moyens plus efficaces et évolutifs de former des modèles non supervisés doivent être trouvés. Il souligne qu'il s'agit d'un domaine important à explorer pour ceux qui s'intéressent à l'apprentissage en profondeur.

  • 00:10:00 Dans cette section, Ruslan Salakhutdinov, directeur de la recherche sur l'IA chez Apple, discute des défis liés à l'utilisation d'une grande quantité de données non étiquetées dans l'apprentissage automatique, ainsi que des conseils pour ceux qui souhaitent entrer dans le domaine. Il encourage les chercheurs à essayer différentes méthodes et à ne pas avoir peur d'innover, citant un exemple de la façon dont lui et son équipe ont abordé le problème difficile de l'optimisation des systèmes hautement non convexes dans les réseaux de neurones. Salakhutdinov discute également des avantages et des inconvénients de faire un doctorat par rapport à rejoindre une entreprise dans le domaine de l'apprentissage en profondeur, soulignant que le milieu universitaire et l'industrie offrent des opportunités intéressantes pour la recherche et le développement.

  • 00:15:00 Dans cette section, Ruslan Salakhutdinov discute des frontières passionnantes de la recherche sur l'apprentissage profond, en particulier dans des domaines tels que l'apprentissage par renforcement profond, le raisonnement et la compréhension du langage naturel, et la capacité d'apprendre à partir de moins d'exemples. Il note qu'il y a eu beaucoup de progrès dans la formation de l'IA dans les mondes virtuels, et que le défi consiste maintenant à faire évoluer ces systèmes, à développer de nouveaux algorithmes et à faire communiquer les agents de l'IA entre eux. En outre, il souligne l'importance de créer des systèmes basés sur le dialogue et capables de lire le texte intelligemment. Enfin, il mentionne l'objectif d'atteindre des capacités d'apprentissage plus humaines.
 

Héros de l'apprentissage en profondeur : Andrew Ng interviewe Yoshua Bengio




Héros de l'apprentissage en profondeur : Andrew Ng interviewe Yoshua Bengio

Andrew Ng interviewe Yoshua Bengio et ils discutent de divers sujets liés à l'apprentissage en profondeur. Bengio explique comment il est entré dans l'apprentissage en profondeur et comment sa réflexion sur les réseaux de neurones a évolué. Il discute également de ses contributions au développement d'incorporations de mots pour des séquences de mots et à l'apprentissage en profondeur avec des piles d'auto-encodeurs. De plus, Bengio souligne l'importance de l'apprentissage non supervisé et son intérêt à comprendre la relation entre l'apprentissage en profondeur et le cerveau.
Bengio souligne la nécessité de comprendre la science de l'apprentissage en profondeur et une recherche appropriée pour relever les grands défis. Enfin, ils se concentrent sur la nécessité d'une solide connaissance de base des mathématiques pour une carrière dans l'apprentissage en profondeur et l'importance de la formation continue.

  • 00:00:00 Dans cette section, Yoshua Bengio explique comment il est entré dans l'apprentissage en profondeur, en commençant par son amour pour la science-fiction et ses études supérieures en 1985. Il parle de son enthousiasme lorsqu'il a découvert le monde de la réflexion sur l'intelligence humaine et comment cela pourrait être lié à l'intelligence artificielle. Bengio réfléchit également à l'évolution de sa réflexion sur les réseaux de neurones, des expériences initiales au développement de théories et de justifications solides expliquant pourquoi certaines techniques, telles que le backprop et la profondeur, fonctionnent si bien. De plus, il parle de sa surprise que la fonction ReLU fonctionne mieux que les non-linéarités lisses traditionnelles qu'il pensait initialement nécessaires. Bengio souligne l'importance de l'information distribuée à travers l'activation de nombreux neurones et comment elle se connecte aux idées initiales qui l'ont enthousiasmé par les réseaux de neurones.

  • 00:05:00 Dans cette section, Yoshua Bengio discute de ses premiers travaux sur l'utilisation des réseaux de neurones pour lutter contre la malédiction de la dimensionnalité et créer des distributions conjointes efficaces sur de nombreuses variables aléatoires. Il mentionne également son travail sur la création d'incorporations de mots pour des séquences de mots, qui permettent une généralisation à travers des mots ayant des significations sémantiques similaires. Bengio poursuit en mentionnant plusieurs autres inventions ou idées importantes de son groupe de recherche, notamment le développement de l'apprentissage en profondeur avec des piles d'auto-encodeurs et l'utilisation de l'attention dans la traduction automatique neuronale. Il discute également de son intérêt pour la compréhension de la relation entre l'apprentissage en profondeur et le cerveau, et de ses travaux sur le développement d'un système similaire à la rétropropagation qui pourrait être mis en œuvre par le cerveau.

  • 00:10:00 Dans cette section, Yoshua Bengio parle de son inspiration des réflexions de Geoff Hinton sur le fonctionnement du cerveau et l'utilisation potentielle du code temporel pour celui-ci. Il explique à quel point l'apprentissage non supervisé est essentiel car il permet la construction de modèles mentaux expliquant le monde sans données étiquetées. Il parle également de sa combinaison d'apprentissage non supervisé et d'apprentissage par renforcement pour mieux comprendre les concepts sous-jacents démêlés les uns des autres en explorant et en essayant de contrôler les choses. Le problème avec la recherche sur l'apprentissage non supervisé est qu'il existe tellement de façons différentes d'attaquer ce problème, et il n'y a pas de bonne définition de ce qui constitue une bonne fonction objective pour mesurer si un système fonctionne bien ou non. Enfin, Yoshua exprime que l'état actuel de l'apprentissage en profondeur est encore loin de ce qu'il aimerait qu'il soit, et il se sent ambitieux de le faire passer au niveau supérieur.

  • 00:15:00 Dans cette section, Yoshua Bengio parle de son enthousiasme pour la recherche axée sur les principes fondamentaux de la façon dont les ordinateurs peuvent observer et interagir avec le monde pour découvrir comment cela fonctionne. Il explique comment une telle recherche mènera à une meilleure compréhension du fonctionnement du monde et espère qu'elle aidera à relever de grands défis tels que l'apprentissage par transfert et les problèmes des nations communes. Bengio note que l'expérimentation sur des problèmes plus petits peut conduire à des cycles de recherche plus rapides et à une meilleure compréhension, qui peut éventuellement être étendue. Il souligne l'importance de comprendre ce qui se passe dans l'apprentissage en profondeur et la nécessité de partager des réflexions sur la science de l'apprentissage en profondeur.

  • 00:20:00 Dans cette section, Yoshua Bengio, une figure renommée de l'apprentissage en profondeur, a évoqué l'importance de comprendre les phénomènes d'intérêt et de mener des recherches appropriées, plutôt que de s'efforcer uniquement de battre des références ou des concurrents. Pour les personnes qui souhaitent entrer dans le domaine, il a souligné le besoin de pratique, y compris la lecture, le codage et l'expérimentation. Bengio a déclaré que bien qu'une solide formation en informatique et en mathématiques soit utile, les personnes sans connaissance préalable de l'apprentissage automatique peuvent toujours apprendre et devenir compétentes en quelques mois.

  • 00:25:00 Dans cet extrait, Andrew Ng et Yoshua Bengio discutent de l'importance d'avoir une solide connaissance de base des mathématiques telles que l'algèbre, l'optimisation et le calcul lorsqu'ils poursuivent une carrière dans l'apprentissage en profondeur. Bengio insiste sur la nécessité d'une formation continue et d'un apprentissage continu pour rester à jour dans le domaine. Les deux expriment leur gratitude pour l'opportunité de partager leurs idées et leurs connaissances avec les autres.
 

Héros du Deep Learning : Andrew Ng interviewe Pieter Abbeel



Héros du Deep Learning : Andrew Ng interviewe Pieter Abbeel

Pieter Abbeel discute des défis et du potentiel de l'apprentissage par renforcement profond dans cette interview avec Andrew Ng. Il note la nécessité de poursuivre les travaux d'exploration, d'attribution de crédits et de génération d'exemples négatifs. Abbeel souligne également les problèmes de sécurité et l'importance de collecter des données d'apprentissage en toute sécurité lorsque l'on apprend aux robots à vivre de manière autonome. Il conseille aux individus de poursuivre une pratique pratique avec des cadres populaires et suggère les avantages de recevoir le mentorat de professionnels expérimentés. De plus, il suggère la nécessité d'un apprentissage par renforcement pour donner aux machines des objectifs de réalisation et note l'importance du clonage comportemental et de l'apprentissage supervisé avant d'ajouter la composante d'apprentissage par renforcement.

  • 00:00:00 Dans cette section, Pieter Abbeel explique comment il s'est initialement intéressé à l'ingénierie en raison de ses intérêts pour les mathématiques et la physique, et comment cela l'a finalement conduit à l'apprentissage automatique et à l'apprentissage par renforcement profond. Il parle des défis qui existent encore dans l'apprentissage par renforcement profond, tels que l'exploration et l'attribution de crédits, et de la nécessité de générer des exemples négatifs pour améliorer ces systèmes. Il note également que les succès de l'apprentissage par renforcement profond ont été principalement à court terme et qu'il reste encore beaucoup de travail à faire dans ce domaine pour permettre aux systèmes de raisonner sur des périodes plus longues.

  • 00:05:00 Dans cette section de l'interview, Pieter Abbeel discute des défis d'apprendre à un robot ou à un agent logiciel à vivre une vie de manière autonome, soulignant que la sécurité pose un ensemble de problèmes, y compris la collecte de données d'apprentissage en toute sécurité. Il partage également son enthousiasme pour l'exploration et le renforcement actifs des algorithmes d'apprentissage afin de proposer des mécanismes plus efficaces qui peuvent remplacer la conception humaine à l'avenir. Enfin, il offre des conseils à ceux qui poursuivent une carrière dans l'intelligence artificielle, soulignant que le domaine offre de vastes opportunités d'emploi et suggérant du matériel d'apprentissage en ligne tel que les cours d'apprentissage en profondeur d'Andrew Ng et de Berkeley pour commencer.

  • 00:10:00 Dans cette section, Pieter Abbeel explique comment commencer à se familiariser avec l'apprentissage en profondeur et l'apprentissage automatique, en soulignant l'importance de la pratique pratique et de l'expérimentation avec des frameworks populaires tels que TensorFlow et PyTorch. Il discute également des avantages et des inconvénients de poursuivre un doctorat par rapport à l'obtention d'un emploi dans une grande entreprise, soulignant les avantages de bénéficier du mentorat de professionnels expérimentés. Abbeel poursuit ensuite en décrivant certains des succès de l'apprentissage par renforcement profond, comme un robot apprenant à exécuter ou à jouer à des jeux Atari classiques à partir de zéro, mais note que la prochaine étape consiste à déterminer comment réutiliser ces connaissances acquises pour de futures tâches. Il prédit également que de nombreuses entreprises s'appuieront sur l'apprentissage supervisé avec une assistance humaine dans un avenir immédiat.

  • 00:15:00 Dans cette section, Pieter Abbeel suggère l'utilisation de l'apprentissage par renforcement pour donner aux machines des objectifs de réalisation plutôt que de simplement faire correspondre les actions humaines. La machine sera entraînée par clonage comportemental ou apprentissage supervisé avant d'ajouter le composant d'apprentissage par renforcement. Cette approche prend du temps mais est efficace pour développer des machines capables d'atteindre les objectifs fixés. L'apprentissage par renforcement seul peut être dangereux et prendre du temps.
1...34567891011121314151617...75
Nouveau commentaire