Intelligence artificielle 2020 - y a-t-il des progrès ? - page 52
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
En parlant de transistors, ceux-ci devront également être modifiés pour que la carte analogique fonctionne. Après tout, les transistors stockent des bits, c'est-à-dire les "bits d'un nombre", alors que vous devrez stocker le nombre entier sous forme de tension (comme une batterie), car le nombre analogique est l'amplitude du courant, et non l'interruption.
Élémentaire : int : 4 octets de 8 bits = 32 bits d'informations numériques codées dans leurs états (1 ou 0) donnent un espace de valeurs de plus de 4 milliards. S'il est converti sous forme analogique, la précision de l'amplitude (tension) du signal doit comporter 9 zéros après la virgule, sinon le signal transmis/reçu déforme le nombre original.
Comment le faire sur un cristal de 22nm - je ne peux pas imaginer, c'est tellement fin là - vous ne pouvez pas le tailler...
Il n'y aura donc pas de haute précision, comme ils l'ont dit.
Les grilles peuvent déjà écrire des programmes
Informations générales traduites sur GPT-3 : (il y a des défauts de traduction)
Wikipedia :
Generative Pre-trained Transducer 3 (GPT-3) est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire un texte de type humain. Il s'agit du modèle de prédiction linguistique de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle de San Francisco. [2] La version complète de GPT-3 a une capacité de 175 milliards de paramètres d'apprentissage automatique, soit deux ordres de grandeur de plus que son prédécesseur GPT-2. [1] : 14 GPT-3, qui a été introduit en mai 2020, et qui est en test bêta depuis juillet 2020. [3] s'inscrit dans une tendance des systèmes de traitement du langage naturel (NLP) vers des "représentations linguistiques pré-entraînées". [Avant la sortie de GPT-3, le plus grand modèle de langage était le NLG Turing de Microsoft, introduit en février 2020, avec dix fois moins de bande passante que GPT-3. [4]
La qualité du texte produit par GPT-3 est si élevée qu'il est difficile de le distinguer d'un texte écrit par un humain, ce qui présente des avantages et des risques. [4] Trente et un chercheurs et ingénieurs d'OpenAI ont soumis un document source daté du 28 mai 2020 présentant le GPT-3. Dans leur article, ils mettent en garde contre les dangers potentiels du GPT-3 et appellent à la recherche pour atténuer les risques. David Chalmers, philosophe australien, a décrit GPT-3 comme "l'un des systèmes d'IA les plus intéressants et les plus importants jamais créés" [1]. "[5] GPT-3 peut créer des sites web, répondre à des questions et prescrire des médicaments. [6]
Selon The Economist, l'amélioration des algorithmes, la puissance des ordinateurs et l'augmentation des données numérisées ont déclenché une révolution dans l'apprentissage automatique, les nouvelles techniques ayant conduit à des "améliorations rapides des tâches" dans les années 2010, notamment la manipulation du langage [7]. Les modèles logiciels sont formés à l'aide de milliers ou de millions d'exemples dans une "structure ... vaguement basé sur l'architecture neuronale du cerveau." [7] L'architecture la plus couramment utilisée dans le traitement du langage naturel (NLP) est le réseau neuronal. [8] Il est basé sur un modèle d'apprentissage profond qui a été présenté pour la première fois en 2017, un modèle d'apprentissage machine transformateur. [8] Les modèles GPT-n sont basés sur cette architecture de réseau neuronal d'apprentissage profond. Il existe un certain nombre de systèmes NLP capables de traiter, d'analyser, d'organiser, de relier, de contraster, de comprendre et de générer des réponses aux questions [9].
Histoire :
Le 11 juin 2018, les chercheurs et ingénieurs d'OpenAI ont publié leur article original sur les modèles génératifs - modèles linguistiques - des systèmes d'intelligence artificielle qui peuvent être pré-entraînés avec un corpus énorme et diversifié de textes à l'aide de jeux de données dans un processus qu'ils ont appelé pré-entraînement génératif. training (GP). [10] Les auteurs ont décrit comment les performances de compréhension du langage dans le traitement du langage naturel (NLP) ont été améliorées dans le pré-entraînement génératif (GPT-n) par un processus de "pré-entraînement génératif d'un modèle de langage sur un corpus diversifié de texte non étiqueté, suivi d'ajustements discriminants pour chaque tâche spécifique". Cela élimine la nécessité d'une supervision humaine et d'un étiquetage manuel fastidieux [10].
En février 2020, Microsoft a dévoilé sa génération de langage naturel Turing (T-NLG), qui était alors "le plus grand modèle de langage jamais publié avec 17 milliards de paramètres." [11] Il a obtenu de meilleurs résultats que n'importe quel autre modèle de langage dans une variété de tâches comprenant le résumé de textes et la réponse à des questions.
Capacités :
Dans un preprint arXiv daté du 28 mai 2020, une équipe de 31 ingénieurs et chercheurs d'OpenAI a décrit le développement d'un "modèle de langage moderne" appelé GPT-3 [1][4] ou Generative Pretrained Transformer 3, un modèle de langage de troisième génération. L'équipe a réussi à augmenter la capacité de GPT-3 de plus de deux ordres de grandeur par rapport à son prédécesseur, GPT-2, faisant de GPT-3 le plus grand modèle de langage non épars à ce jour. [1] : 14 [2] Le plus grand nombre de paramètres du GPT-3 permet d'obtenir un niveau de précision supérieur à celui des versions précédentes de plus faible capacité. [12] Le GPT-3 a dix fois la capacité du GNL de Microsoft Turing. [4]
Soixante pour cent de l'ensemble de données de pré-entraînement pondéré pour GPT-3 provient d'une version filtrée de Common Crawl, composée de 410 milliards de tokens codés par paires d'octets. [Les autres sources sont : 19 milliards de jetons de WebText2, soit une somme pondérée de 22 %, 12 milliards de jetons de Book1, soit 8 %, 55 milliards de jetons de Book2, soit 8 %, et 3 milliards de jetons de Wikipedia, soit 3 %. [1] : 9 GPT-3 a été entraîné sur des centaines de milliards de mots et est capable de coder en CSS, JSX, Python, etc. [3] Les données d'entraînement du GPT-3 étant complètes, il n'a pas été nécessaire de procéder à un entraînement supplémentaire pour différentes tâches linguistiques. [3]
Le 11 juin 2020, OpenAI a annoncé que les utilisateurs pouvaient demander un accès à l'API conviviale GPT-3, une " suite d'outils d'apprentissage automatique " pour aider OpenAI à " explorer les forces et les faiblesses " de cette nouvelle technologie [13][14]. L'invitation décrivait cette API comme ayant une interface universelle d'entrée-sortie de texte qui pouvait effectuer presque "toute tâche en langue anglaise", au lieu du cas d'utilisation unique habituel. [Selon un utilisateur qui a eu accès à une version préliminaire fermée de l'API OpenAI GPT-3, GPT-3 est "terriblement bon" pour écrire "un texte étonnamment cohérent" avec seulement quelques invites simples [15].
Parce que GPT-3 peut " générer des articles de presse que les évaluateurs humains ont du mal à distinguer des articles écrits par des humains " [4], GPT-3 a " le potentiel de promouvoir à la fois des applications utiles et nuisibles des modèles de langage " [1] : 34 Dans leur article du 28 mai 2020, les chercheurs ont détaillé les potentiels " effets nuisibles de GPT-3 " [4], qui incluent " la désinformation, le spam, le phishing, l'abus des processus juridiques et gouvernementaux, la rédaction frauduleuse d'essais universitaires et les prétextes d'ingénierie sociale ". "[1]. Les auteurs attirent l'attention sur ces dangers pour appeler à la recherche sur la réduction des risques. [1] :
Le nouveau TPG-3 d'OpenAI.
Nous mettons à disposition une API pour accéder aux nouveaux modèles d'IA développés par OpenAI. Contrairement à la plupart des systèmes d'IA, qui sont conçus pour un seul cas d'utilisation, l'API d'aujourd'hui fournit une interface d'entrée-sortie universelle, permettant aux utilisateurs de l'essayer sur presque toutes les tâches en anglais. Vous pouvez maintenant demander un accès pour intégrer l'API dans votre produit, développer une application entièrement nouvelle ou nous aider à explorer les forces et les faiblesses de la technologie.
Pour toute demande de texte, l'API renvoie le complément du texte, en essayant de correspondre au modèle que vous avez spécifié. Vous pouvez le "programmer" en lui montrant seulement quelques exemples de ce que vous voulez qu'il fasse ; son succès varie généralement en fonction de la complexité de la tâche. L'API vous permet également de régler les performances pour des tâches spécifiques en entraînant les ensembles de données que vous fournissez (petits ou grands) ou en apprenant des utilisateurs ou des développeurs.
Nous avons conçu l'API pour qu'elle soit facile à utiliser et flexible afin de rendre les équipes d'apprentissage automatique plus productives. En fait, nombre de nos équipes utilisent désormais l'API pour pouvoir se concentrer sur la recherche en apprentissage automatique plutôt que sur les problèmes de systèmes distribués. Aujourd'hui, API lance des modèles avec des poids de la famille GPT-3 avec de nombreuses améliorations de vitesse et de débit. L'apprentissage automatique évolue très rapidement et nous mettons constamment à jour notre technologie afin de maintenir nos utilisateurs à niveau.
Le rythme des progrès dans ce domaine signifie qu'il y a souvent de nouvelles applications inattendues de l'IA, tant positives que négatives. Nous arrêterons l'accès à l'API pour les utilisations malveillantes connues telles que le harcèlement, le spamming, la radicalisation ou l'astroturfing. Mais nous savons aussi que nous ne pouvons pas prévoir tous les résultats possibles de cette technologie. C'est pourquoi nous lançons aujourd'hui une version bêta privée plutôt qu'une version publique, nous créons des outils pour aider les utilisateurs à mieux contrôler le contenu renvoyé par notre API et nous étudions les questions de sécurité. Nous partagerons ce que nous avons appris afin que nos utilisateurs et la communauté au sens large puissent construire des systèmes d'intelligence artificielle plus humains.
En plus d'être une source de revenus qui nous aide à couvrir nos coûts tout en poursuivant notre mission, l'API nous a poussés à nous concentrer sur la technologie universelle de l'intelligence artificielle - en faisant progresser la technologie, en assurant son utilisation et en considérant son impact dans le monde réel. Nous espérons que l'API réduira considérablement les obstacles à la création de produits d'intelligence artificielle utiles, ce qui conduira à des outils et des services difficiles à imaginer aujourd'hui.
Vous souhaitez en savoir plus sur les API ? Rejoignez des entreprises comme Algolia, Quizlet et Reddit, et des chercheurs d'organisations comme le Middlebury Institute dans notre bêta privée.
Si vous voulez essayer GPT-3 aujourd'hui, vous devez vous inscrire sur la liste blanche d'OpenAI. Mais les applications de ce modèle semblent infinies - vous pouvez apparemment l'utiliser pour interroger une base de données SQL en anglais simple, commenter automatiquement du code, créer automatiquement du code, écrire des titres d'articles fantaisistes, écrire des tweets viraux et bien plus encore.
Mais que se passe-t-il sous le capot de cet incroyable modèle ? Voici un (bref) aperçu de l'intérieur
GPT-3 est un modèle de langage basé sur un réseau neuronal. Un modèle de langage est un modèle qui prédit la probabilité qu'une phrase existe dans le monde. Par exemple, un modèle de langage pourrait marquer la phrase : "J'emmène mon chien en promenade" comme étant plus susceptible d'exister (c'est-à-dire en ligne) que la phrase : "J'emmène ma banane en promenade". Ceci est vrai pour les phrases et les expressions et, plus généralement, pour toute séquence de caractères.
Comme la plupart des modèles de langage, GPT-3 est élégamment entraîné sur un ensemble de données textuelles non étiquetées (dans ce cas, les données d'entraînement comprennent, entre autres, Common Crawl et Wikipedia). Des mots ou des phrases sont retirés du texte de manière aléatoire, et le modèle doit apprendre à les remplir en utilisant uniquement les mots environnants comme contexte. Il s'agit d'une tâche d'apprentissage simple qui aboutit à un modèle puissant et polyvalent.
L'architecture du modèle GPT-3 lui-même est un réseau neuronal basé sur un transformateur. Cette architecture est devenue populaire il y a environ 2 ou 3 ans, et était la base du modèle populaire BERT NLP et du prédécesseur de GPT-3, GPT-2. En termes d'architecture, le TPG-3 n'est en fait pas très nouveau !
Qu'est-ce qui le rend si spécial et magique ?
C'est très grand. Je veux dire vraiment gros. Avec 175 milliards de paramètres, il s'agit du plus grand modèle de langage jamais créé (un ordre de grandeur plus grand que son plus proche concurrent !) et il a été entraîné sur le plus grand ensemble de données de tous les modèles de langage. Cela semble être la principale raison pour laquelle le GPT-3 est si impressionnant par son "intelligence" et son aspect humain.
Mais voici la partie vraiment magique. Grâce à sa taille, le GPT-3 peut faire ce qu'aucun autre modèle ne peut (bien) faire : effectuer des tâches spécifiques sans configuration particulière. Vous pouvez demander au GPT-3 d'être un traducteur, un programmeur, un poète ou un auteur célèbre, et il peut le faire avec son utilisateur (vous) fournissant moins de 10 exemples d'entraînement. Merde.
C'est ce qui rend GPT-3 si fascinant pour les praticiens de l'apprentissage automatique. D'autres modèles de langue (comme BERT) nécessitent une étape complexe de réglage fin, au cours de laquelle vous recueillez des milliers d'exemples de paires de phrases français-anglais (par exemple) pour apprendre au modèle comment effectuer la traduction. Pour adapter un BERT à une tâche spécifique (par exemple, la traduction, le résumé, la détection de spam, etc.), vous devez trouver un grand ensemble de données d'entraînement (de l'ordre de milliers ou de dizaines de milliers d'exemples), ce qui peut s'avérer lourd ou peu maniable, voire impossible, selon la tâche. Avec GPT-3, vous n'avez pas besoin d'effectuer cette étape de mise au point. C'est son essence. C'est ce qui attire les gens vers GPT-3 : des tâches linguistiques personnalisables sans données à apprendre.
GPT-3 est en version bêta privée aujourd'hui, mais j'ai hâte de mettre la main dessus.
Cet article a été rédigé par Dale Markowitz, ingénieur en intelligence artificielle appliquée chez Google, basée à Austin, au Texas, où elle travaille à l'application de l'apprentissage automatique à de nouveaux domaines et secteurs. Elle aime aussi résoudre les problèmes de sa vie avec l'IA et en parle sur YouTube.
Honnêtement, je suis époustouflé par ce GPT-3. Cool stuff.))))
Cependant, quelque chose de bien plus cool va arriver, et bientôt. Pourquoi ? Parce que le GPT-3 est inefficace comme l'enfer en termes d'efficacité.
Aucun d'entre nous n'est capable d'écrire des livres, de penser de manière logique et critique et de résoudre des problèmes incommensurablement plus complexes et ambigus, alors que des milliards de combinaisons de mots sont entrés dans nos têtes dans des phrases qui parcourent l'internet. Comment ?
L'apprentissage humain est un niveau différent d'assimilation et de traitement de l'information. Il manque cruellement quelque chose à GPT-3, comme une colonne vertébrale, un archétype, un moteur interne... et on ne sait pas trop quoi d'autre...
L'approche d'apprentissage de ce réseau est défectueuse par rapport à l'apprentissage humain et nous devons découvrir ce qu'il en est.
Honnêtement, je suis époustouflé par ce GPT-3. Cool stuff. ))))
Rien de nouveau dans les algorithmes, mais la puissance offre de nouvelles possibilités et de nouveaux niveaux de qualité des modèles. 175 yds n'est pas 5000 mots))))
Rien de nouveau dans les algorithmes, mais la puissance offre de nouvelles possibilités et de nouveaux niveaux de qualité des modèles. 175 yards ne sont pas 5000 mots))))
C'est le problème, je n'ai rien entendu de nouveau sur les algorithmes. Toutes ces méthodes de formation de réseau existaient déjà - la seule différence est l'échelle.
J'ai essayé de trouver des exemples vidéo de son fonctionnement et voici ce qui m'a impressionné: https://twitter.com/sharifshameem.
Cette chose crée une interface basée sur une description verbale ainsi qu'une fonctionnalité partielle. Au début, j'ai pensé que c'était une absurdité, mais en regardant de plus près, j'ai compris que j'avais tort. Cependant, je ne pouvais toujours pas comprendre pleinement les limites des possibilités.
La portée du GPT-3 n'est pas claire.