Inteligência Artificial 2020 - há progressos? - página 52
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
Por falar em transistores - estes também terão de ser modificados para que a placa analógica funcione. Afinal, os transístores armazenam bits - isto é, "bits de um número", enquanto que será necessário armazenar o número inteiro como uma voltagem (como uma bateria), porque o número analógico é a amplitude da corrente, não a interrupção.
Elementar: int: 4 bytes de 8 bits = 32 bits de informação digital codificada nos seus estados (1 ou 0) dão um espaço de valor de mais de 4 mil milhões. Se isto for convertido em forma analógica, a precisão da amplitude (tensão) do sinal deve ter 9 zeros após o ponto decimal, caso contrário, o sinal transmitido/recebido distorcerá o número original.
Como fazê-lo num cristal de 22nm - não consigo imaginar, é tão bom lá - não se pode apará-lo...
Portanto, não haverá, como eles disseram, alta precisão.
As grelhas já podem escrever programas
Informação geral traduzida sobre o GPT-3: (há defeitos de tradução)
Wikipédia:
Generative Pre-Train Transducer 3 (GPT-3) é um modelo de linguagem autoregressiva que utiliza uma aprendizagem profunda para produzir texto de tipo humano. É o modelo de previsão de linguagem de terceira geração da série GPT-n criado pelo OpenAI, um laboratório de investigação de inteligência artificial em São Francisco. [2] A versão completa do GPT-3 tem uma capacidade de 175 mil milhões de parâmetros de aprendizagem da máquina, duas ordens de magnitude superior à do seu predecessor GPT-2. [1]: 14 GPT-3, que foi introduzido em Maio de 2020, e tem estado em testes beta desde Julho de 2020. [3] faz parte de uma tendência nos sistemas de processamento de linguagem natural (PNL) para "representações linguísticas pré-treinadas". [1] Antes do lançamento do GPT-3, o maior modelo linguístico era o Turing NLG da Microsoft, introduzido em Fevereiro de 2020, com dez vezes menos largura de banda do que o GPT-3. [4]
A qualidade do texto produzido pelo GPT-3 é tão elevada que é difícil distingui-lo do texto escrito humano, o que tem tanto vantagens como riscos. [4] Trinta e um investigadores e engenheiros do OpenAI submeteram um documento-fonte datado de 28 de Maio de 2020 apresentando o GPT-3. No seu trabalho, alertaram para os perigos potenciais do GPT-3 e apelaram à investigação para mitigar os riscos. [1]: 34 David Chalmers, um filósofo australiano, descreveu o GPT-3 como "um dos sistemas de IA mais interessantes e importantes alguma vez criados. "[5] O GPT-3 pode criar websites, responder a perguntas e prescrever medicamentos. [6]
De acordo com The Economist, algoritmos melhorados, computadores potentes e um aumento de dados digitalizados desencadearam uma revolução na aprendizagem de máquinas, com novas técnicas que levaram a "melhorias rápidas nas tarefas" nos anos 2010, incluindo a manipulação de linguagem [7]. Os modelos de software são treinados utilizando milhares ou milhões de exemplos numa "estrutura ... livremente baseado na arquitectura neural do cérebro". [7] A arquitectura mais frequentemente utilizada no processamento de linguagem natural (PNL) é a rede neural. [8] Baseia-se num modelo de aprendizagem profunda que foi introduzido pela primeira vez em 2017, um modelo de aprendizagem de máquinas transformadoras. [8] Os modelos GPT-n baseiam-se nesta arquitectura de redes neuronais de aprendizagem profunda. Existem vários sistemas de PNL capazes de processar, analisar, organizar, ligar, contrastar, compreender e gerar respostas a perguntas [9].
História:
Em 11 de Junho de 2018, investigadores e engenheiros da OpenAI publicaram o seu artigo original sobre modelos generativos - modelos de linguagem - sistemas de inteligência artificial que podem ser pré-formados com um enorme e diversificado corpus de textos, utilizando conjuntos de dados num processo a que chamaram pré-formação generativa (GP). [10] Os autores descreveram como o desempenho da compreensão da linguagem no processamento da linguagem natural (PNL) foi melhorado na pré-formação generativa (GPT-n) através de um processo de "pré-formação generativa de um modelo linguístico sobre um corpo diversificado de texto não rotulado, seguido de ajustamentos discriminatórios para cada tarefa específica". Isto eliminou a necessidade de supervisão humana e de uma demorada rotulagem manual [10].
Em Fevereiro de 2020, a Microsoft revelou a sua Turing Natural Language Generation (T-NLG), que foi então "o maior modelo linguístico alguma vez publicado com 17 mil milhões de parâmetros". [11] Realizou melhor do que qualquer outro modelo linguístico numa variedade de tarefas que incluíam resumir textos e responder a perguntas
Capacidades:
Numa pré-impressão arXiv datada de 28 de Maio de 2020, uma equipa de 31 engenheiros e investigadores da OpenAI descreveu o desenvolvimento de um "modelo de linguagem moderna" chamado GPT-3 [1][4] ou Generative Pretrained Transformer 3, um modelo de linguagem de terceira geração. A equipa conseguiu aumentar a capacidade do GPT-3 em mais de duas ordens de magnitude em relação ao seu predecessor, o GPT-2, fazendo do GPT-3 o maior modelo de linguagem não-escuro até à data. [1]: 14 [2] O maior número de parâmetros do GPT-3 fornece um nível de precisão mais elevado do que as versões anteriores com menor capacidade. [12] O GPT-3 tem dez vezes a capacidade do NLG da Microsoft Turing. [4]
Sessenta por cento do conjunto de dados ponderados de pré-treino para GPT-3 vem de uma versão filtrada de Common Crawl, consistindo em 410 mil milhões de fichas codificadas por pares de bytes. [1]: 9 Outras fontes são 19 mil milhões de fichas do WebText2, que é uma soma ponderada de 22%, 12 mil milhões de fichas do Livro1, que é 8%, 55 mil milhões de fichas do Livro2, que é 8%, e 3 mil milhões de fichas da Wikipedia, que é 3%. [1]: 9 GPT-3 foi treinado em centenas de biliões de palavras e é capaz de codificar em CSS, JSX, Python, etc. [3] Porque os dados de formação do GPT-3 eram abrangentes, não exigiam formação adicional para tarefas linguísticas diferentes. [3]
A 11 de Junho de 2020, OpenAI anunciou que os utilizadores poderiam solicitar o acesso à API GPT-3 de fácil utilização, um "conjunto de ferramentas de aprendizagem de máquinas" para ajudar OpenAI a "explorar os pontos fortes e fracos" desta nova tecnologia [13][14]. ] O convite descreveu esta API como tendo uma interface de entrada-saída de texto universal que poderia realizar quase "qualquer tarefa em inglês", em vez do habitual caso de uso único. [13] Segundo um utilizador que teve acesso a um lançamento antecipado fechado do OpenAI GPT-3 API, o GPT-3 é "assustadoramente bom" a escrever "texto surpreendentemente coerente" com apenas alguns simples avisos [15].
Porque o GPT-3 pode "gerar artigos noticiosos que os avaliadores humanos têm dificuldade em distinguir dos artigos escritos por humanos" [4], o GPT-3 tem "o potencial de promover tanto aplicações úteis como prejudiciais dos modelos linguísticos" [1]: 34 No seu artigo de 28 de Maio de 2020, os investigadores detalharam os potenciais "efeitos prejudiciais do GPT-3" [4], que incluem "desinformação, spam, phishing, abuso de processos legais e governamentais, redacção de ensaios académicos fraudulentos e pretextos de engenharia social. "[1]. Os autores chamam a atenção para estes perigos para apelar à investigação sobre a redução dos riscos. [1]:
O novo GPT-3 do OpenAI.
Estamos a lançar um API para aceder aos novos modelos de IA desenvolvidos pela OpenAI. Ao contrário da maioria dos sistemas de IA, que são concebidos para um único caso de utilização, a API actual fornece uma interface de entrada-saída universal, permitindo aos utilizadores experimentá-la em quase todas as tarefas em língua inglesa. Pode agora solicitar acesso para integrar o API no seu produto, desenvolver uma aplicação completamente nova, ou ajudar-nos a explorar os pontos fortes e fracos da tecnologia.
Com qualquer pedido de texto, a API devolverá a conclusão do texto, tentando corresponder ao padrão que especificou. Pode 'programá-lo' mostrando apenas alguns exemplos do que quer que ele faça; o seu sucesso geralmente varia dependendo da complexidade da tarefa. A API também lhe permite afinar o desempenho em tarefas específicas através da formação dos conjuntos de dados que fornece (pequenos ou grandes) ou através da aprendizagem com os utilizadores ou desenvolvedores.
Concebemos o API para ser fácil de utilizar e flexível para tornar as equipas de aprendizagem de máquinas mais produtivas. De facto, muitas das nossas equipas utilizam agora o API para se poderem concentrar na investigação da aprendizagem de máquinas em vez de questões de sistemas distribuídos. Actualmente, a API está a lançar modelos com pesos da família GPT-3 com muitas melhorias de velocidade e rendimento. A aprendizagem de máquinas está a evoluir muito rapidamente e estamos constantemente a actualizar a nossa tecnologia para manter os nossos utilizadores actualizados.
O ritmo de progresso nesta área significa que há frequentemente novas aplicações de IA inesperadas, tanto positivas como negativas. Vamos parar o acesso API para usos maliciosos conhecidos, tais como perseguição, envio de spam, radicalização ou astroturfação. Mas também sabemos que não podemos prever todos os resultados possíveis desta tecnologia, por isso hoje estamos a lançar uma versão beta privada em vez de uma pública, construindo ferramentas para ajudar os utilizadores a controlar melhor o conteúdo devolvido pelo nosso API, e explorando questões de segurança. Vamos partilhar o que aprendemos para que os nossos utilizadores e a comunidade em geral possam construir mais sistemas de inteligência artificial humana.
Para além de ser uma fonte de receitas que nos ajuda a cobrir custos à medida que prosseguimos a nossa missão, o API levou-nos a concentrar na tecnologia universal de IA - fazendo avançar a tecnologia, assegurando a sua utilização e considerando o seu impacto no mundo real. Esperamos que o API reduza significativamente a barreira à fabricação de produtos úteis de inteligência artificial, levando a ferramentas e serviços que são difíceis de imaginar hoje em dia.
Interessado em saber mais sobre as APIs? Junte-se a empresas como a Algolia, Quizlet e Reddit, e a investigadores de organizações como o Instituto Middlebury no nosso beta privado.
Se quiser experimentar o GPT-3 hoje, terá de se inscrever na lista branca do OpenAI. Mas as aplicações para este modelo parecem infinitas - aparentemente pode utilizá-lo para consultar uma base de dados SQL em inglês simples, comentar códigos automaticamente, criar códigos automaticamente, escrever títulos de artigos extravagantes, escrever tweets virais e muito mais.
Mas o que se passa debaixo do gorro deste modelo incrível? Aqui está um (breve) olhar para dentro
GPT-3 é um modelo de linguagem baseado em redes neurais. Um modelo linguístico é um modelo que prevê a probabilidade de uma frase existente no mundo. Por exemplo, um modelo linguístico pode marcar a frase: "Estou a levar o meu cão a passear" como sendo mais provável que exista (isto é, online) do que a frase: "Estou a levar a minha banana a passear". Isto é verdade tanto para frases e frases como, de um modo mais geral, para qualquer sequência de caracteres.
Como a maioria dos modelos linguísticos, o GPT-3 é elegantemente treinado num conjunto de dados de texto não etiquetado (neste caso, os dados de formação incluem, entre outros, o Common Crawl e a Wikipedia). As palavras ou frases são retiradas aleatoriamente do texto, e o modelo tem de aprender a preenchê-las utilizando apenas as palavras circundantes como contexto. Esta é uma tarefa de aprendizagem simples que resulta num modelo poderoso e versátil.
A arquitectura do modelo GPT-3 em si é uma rede neural baseada num transformador. Esta arquitectura tornou-se popular há cerca de 2-3 anos, e foi a base do popular modelo BERT NLP e o antecessor do GPT-3, GPT-2. Em termos de arquitectura, o GPT-3 não é de facto muito novo!
O que o torna tão especial e mágico?
É realmente grande. Quero dizer realmente grande. Com 175 mil milhões de parâmetros, é o maior modelo linguístico alguma vez criado (uma ordem de magnitude maior do que o seu concorrente mais próximo!) e foi treinado no maior conjunto de dados de todos os modelos linguísticos. Esta parece ser a principal razão pela qual o GPT-3 é tão impressionantemente "inteligente" e sonoro para o ser humano.
Mas aqui está a parte realmente mágica. Graças ao seu enorme tamanho, o GPT-3 pode fazer o que nenhum outro modelo pode (bem) fazer: executar tarefas específicas sem qualquer configuração especial. Pode pedir ao GPT-3 para ser um tradutor, programador, poeta ou autor famoso, e pode fazê-lo com o seu utilizador (você) fornecendo menos de 10 exemplos de treino. Merda.
É isso que torna o GPT-3 tão fascinante para os praticantes da aprendizagem mecânica. Outros modelos linguísticos (como o BERT) requerem uma etapa de afinação complexa, onde se recolhem milhares de exemplos de (digamos) pares de frases Francês-Inglês para o ensinar a fazer a tradução. Para personalizar um BERT para uma tarefa específica (por exemplo, tradução, resumo, detecção de spam, etc.), é necessário sair e encontrar um grande conjunto de dados de formação (na ordem dos milhares ou dezenas de milhares de exemplos), o que pode ser incómodo ou pesado. por vezes impossível, dependendo da tarefa. Com o GPT-3, não precisa de fazer este passo de afinação. Essa é a sua essência. É isso que atrai as pessoas para o GPT-3: tarefas linguísticas personalizáveis sem dados a aprender.
O GPT-3 está hoje em beta privado, mas mal posso esperar para pôr as minhas mãos nele.
Este artigo foi escrito por Dale Markowitz, uma engenheira de inteligência artificial aplicada no Google, com sede em Austin, Texas, onde trabalha na aplicação da aprendizagem de máquinas a novos campos e indústrias. Ela também gosta de resolver os problemas da sua vida com IA e fala sobre isso no YouTube.
Sinceramente, este GPT-3 deixa-me estupefacto. Material fixe.))))
No entanto, algo muito mais fresco está a chegar, e em breve. Porquê? Porque o GPT-3 é ineficiente como o inferno em termos de eficiência.
Nenhum de nós, com milhares de milhões de combinações de palavras na cabeça, em frases que digitalizam a Internet, consegue ainda escrever livros, pensar lógica e criticamente, e resolver problemas imensamente mais complexos e ambíguos. Como?
A aprendizagem humana é um nível diferente de assimilação e processamento de informação. O GPT-3 tem grande falta de algo dentro, como uma espinha dorsal, um arquétipo, um motor interno... e não está claro o que mais...
A abordagem da aprendizagem desta rede é deficiente em comparação com a aprendizagem humana e precisamos de descobrir o que ela é.
Sinceramente, este GPT-3 deixa-me estupefacto. Material fixe. ))))
nada de novo nos algoritmos, mas o poder dá novas possibilidades e níveis de qualidade de modelo. 175 yds não é 5000 palavras))))
nada de novo nos algoritmos, mas o poder dá novas possibilidades e níveis de qualidade de modelo. 175 jardas não é 5000 palavras))))
Aí é que está, não ouvi nada de novo sobre os algoritmos. Todos estes métodos de formação em rede já lá estavam - a única diferença é a escala.
Tentei encontrar exemplos de vídeo a funcionar e foi isto que impressionou:https://twitter.com/sharifshameem
Esta coisa cria uma interface por descrição verbal juntamente com uma funcionalidade parcial. No início pensei que era um disparate, mas quando olhei mais de perto percebi que estava errado. No entanto, ainda não consegui compreender completamente os limites das possibilidades.
O âmbito do GPT-3 não é claro.