Aprendizado de máquina e redes neurais - página 10

[MetaQuotes]

Geoffrey Hinton e Yann LeCun, 2018 ACM AM Turing Award Palestra "A Revolução do Aprendizado Profundo"

Geoffrey Hinton e Yann LeCun, 2018 ACM AM Turing Award Palestra "A Revolução do Aprendizado Profundo"

Geoffrey Hinton e Yann LeCun ganharam o prêmio ACM AM Turing 2018 e deram uma palestra sobre a revolução do aprendizado profundo.
Na palestra, eles discutiram como o aprendizado profundo revolucionou a ciência da computação e como ele pode ser usado para beneficiar vários aspectos da vida. Eles também falaram sobre os desafios do aprendizado profundo e o futuro do campo.
Eles observaram que, embora a compreensão teórica do aprendizado profundo seja importante, ainda cabe aos humanos tomar decisões em situações complexas. Eles também discutiram o potencial da computação evolutiva e outras formas de inteligência artificial na direção autônoma.

• 00:00:00 Geoffrey Hinton e Yann LeCun apresentam a Palestra do Prêmio ACM AM Turing 2018, falando sobre a revolução do aprendizado profundo. Eles discutem como o aprendizado profundo revolucionou a ciência da computação e como os participantes podem se beneficiar ao participar de conferências relacionadas.
  
  
• 00:05:00 Os três ganhadores do Prêmio ACM AM Turing 2018 são Geoffrey Hinton, Yoshua Bengio e Yann LeCun. Hinton dará uma palestra de história sobre o desenvolvimento do aprendizado profundo, enquanto Kuhn discutirá o progresso contínuo do aprendizado profundo.
  
  
• 00:10:00 Em sua palestra do Prêmio ACM AM Turing de 2018, Geoffrey Hinton discute a revolução do aprendizado profundo, que se baseia na abordagem de inspiração biológica para a inteligência artificial. A abordagem de aprendizado profundo é mais eficiente e eficaz do que o paradigma simbólico tradicional, mas também é mais difícil de aprender.
  
  
• 00:15:00 Em sua palestra do prêmio ACM AM Turing de 2018, Geoffrey Hinton discutiu como as redes neurais funcionam, explicando que elas são uma versão simplificada dos neurônios reais no cérebro. Ele também explicou como a retropropagação é uma versão eficiente do algoritmo de aprendizado por reforço e como pode acelerar o processo de treinamento de redes neurais por um fator de 10 ou mais.
  
  
• 00:20:00 Geoffrey Hinton e Yann LeCun fizeram uma palestra sobre a revolução do aprendizado profundo na cerimônia do ACM Turing Award. Os dois discutem propagação reversa, descida de gradiente estocástico e como isso não foi bem-sucedido no aprendizado em larga escala.
  
  
• 00:25:00 Nesta palestra, Geoffrey Hinton e Yann LeCun discutem a revolução do aprendizado profundo, que envolveu o desenvolvimento de redes neurais mais eficientes. Com o aumento do poder de computação disponível nos últimos anos, as redes neurais tornaram-se cada vez mais poderosas e agora são onipresentes em vários campos da visão computacional.
  
  
• 00:30:00 Geoffrey Hinton e Yann LeCun fizeram uma palestra sobre a história do aprendizado profundo e seu estado atual, destacando os sucessos e desafios do campo. Eles também falaram sobre o futuro da visão computacional, destacando a importância do aprendizado profundo na obtenção de melhores resultados.
  
  
• 00:35:00 Em sua palestra do Prêmio ACM AM Turing de 2018, Geoffrey Hinton discute a revolução do aprendizado profundo e sua importância para a inteligência artificial. Ele observa que, embora o aprendizado profundo seja muito eficaz na realização de tarefas específicas, não é a melhor maneira de realizar a visão. Hinton sugere que um aspecto da revolução do aprendizado profundo que foi replicado no cérebro é o uso de aparelhos replicados. Ele demonstra isso fazendo com que um participante aponte para os cantos de um cubo que é girado de forma que o canto superior traseiro esquerdo fique verticalmente acima do canto frontal inferior direito. Hinton explica que, embora o aprendizado profundo seja eficaz no uso de um conjunto específico de pesos para aproximar uma saída desejada, não é eficaz na preservação das simetrias dos objetos. Ele prevê que, no futuro, as redes neurais serão capazes de aprender a reconhecer objetos usando uma escala de tempo diferente, que será análoga à forma como as sinapses mudam no cérebro.
  
  
• 00:40:00 Em sua palestra do Prêmio ACM AM Turing de 2018, Geoffrey Hinton discute a revolução do aprendizado profundo, que ele acredita ser devido à introdução gradual de novas escalas de tempo no processo de aprendizado. Ele discute como a memória do aprendizado passado é armazenada nos pesos de uma rede neural e como essa memória pode ser acessada usando pesos rápidos. Hinton também fala sobre o impacto do big data no aprendizado profundo e como os avanços recentes em hardware e software de computador tornaram o aprendizado profundo mais acessível aos pesquisadores.
  
  
• 00:45:00 A palestra de Geoffrey Hinton e Yann LeCun abordou a revolução do aprendizado profundo, como as representações hierárquicas são úteis e como funciona a rede de pais Pennebaker.
  
  
• 00:50:00 Geoffrey Hinton e Yann LeCun proferiram a palestra 2018 ACM AM Turing Award discutindo o aprendizado profundo e seu potencial para revolucionar vários aspectos da vida. Seu trabalho em segmentação de imagens e carros autônomos estava entre os mais notáveis.
  
  
• 00:55:00 Geoffrey Hinton e Yann LeCun deram uma palestra sobre a revolução do aprendizado profundo, discutindo como humanos e animais são capazes de aprender com eficiência e rapidez. Eles também discutiram como humanos e animais aprendem conceitos observando e prevendo o mundo.

[MetaQuotes]

Este gênio canadense criou a IA moderna

Este gênio canadense criou a IA moderna

Geoff Hinton, um pioneiro da IA, trabalha para fazer com que os computadores aprendam como humanos há quase 40 anos e revolucionou o campo da Inteligência Artificial. Hinton foi inspirado pelo perceptron de Frank Rosenblatt, uma rede neural que imita o cérebro, desenvolvida na década de 1950. A determinação de Hinton levou a um avanço no campo da IA. Em meados dos anos 80, Hinton e seus colaboradores criaram uma rede neural de várias camadas, uma rede neural profunda, que começou a funcionar de várias maneiras. No entanto, eles careciam dos dados necessários e do poder de computação até cerca de 2006, quando chips super-rápidos e grandes quantidades de dados produzidos na Internet deram um impulso mágico aos algoritmos de Hinton – os computadores podiam identificar o que havia em uma imagem, reconhecer a fala e traduzir idiomas. Em 2012, o Canadá se tornou uma superpotência de IA, e as redes neurais e o aprendizado de máquina foram destaque na primeira página do New York Times.

• 00:00:00 Nesta seção, aprendemos sobre Geoff Hinton, que tem trabalhado para fazer os computadores aprenderem como os humanos fazem por quase 40 anos. Essa busca, que todos consideravam sem esperança, revolucionou o campo da inteligência artificial, e empresas como Google, Amazon e Apple acreditam que é o futuro de suas empresas. A inspiração de Hinton veio de Frank Rosenblatt, que desenvolveu o perceptron, uma rede neural que imita o cérebro, na década de 1950. A rede neural de Rosenblatt era limitada e não funcionava bem, mas Hinton acreditava que as redes neurais podem funcionar, já que o cérebro é apenas uma grande rede neural. A determinação de Hinton de perseguir sua ideia levou a um avanço no campo da inteligência artificial, e as empresas acreditam que esse é o futuro de suas empresas.
  
  
• 00:05:00 Nesta seção, o vídeo discute como, em meados  dos anos 80, Hinton e seus colaboradores progrediram na criação de redes neurais mais complicadas que poderiam resolver problemas que as simples não conseguiam. Eles criaram uma rede neural de várias camadas, uma rede neural profunda, que começou a funcionar de várias maneiras. No entanto, eles atingiram um teto, pois careciam dos dados necessários e do poder de computação. Durante os anos 90 e 2000, Hinton foi uma das poucas pessoas que ainda buscavam essa tecnologia e foi tratado como um pária. Até cerca de 2006, quando a chegada de chips super-rápidos e enormes quantidades de dados produzidos na internet deram um impulso mágico aos algoritmos de Hinton – os computadores podiam identificar o que havia em uma imagem, reconhecer a fala e traduzir idiomas. Em 2012, redes neurais e aprendizado de máquina estavam aparecendo na primeira página do New York Times, e o Canadá se tornou uma superpotência de IA.

[MetaQuotes]

Geoffrey Hinton: os fundamentos do aprendizado profundo

Geoffrey Hinton: os fundamentos do aprendizado profundo

Padrinho da inteligência artificial Geoffrey Hinton dá uma visão geral dos fundamentos da aprendizagem profunda. Nesta palestra, Hinton analisa os avanços das redes neurais aplicadas ao reconhecimento de fala e objetos, segmentação de imagens e leitura ou geração de linguagem escrita natural.

Geoffrey Hinton discute os fundamentos do aprendizado profundo, particularmente o algoritmo de retropropagação e sua evolução. Hinton explica como o aprendizado profundo afetou o reconhecimento inicial de manuscrito e acabou levando à vitória na competição ImageNet de 2012. Ele também enfatiza a superioridade do aprendizado profundo usando vetores de atividade neural sobre a IA simbólica tradicional que usava os mesmos símbolos na entrada, na saída e no meio. As melhorias nos sistemas de tradução automática, reconhecimento de imagem e sua combinação para raciocínio natural são discutidas, juntamente com o potencial de aprendizado profundo na interpretação de imagens médicas. Hinton conclui destacando a necessidade de redes neurais com parâmetros comparáveis ao cérebro humano para alcançar o verdadeiro processamento de linguagem natural.

• 00:00:00 Nesta seção, Hinton explica o conceito de retropropagação, que é o algoritmo fundamental usado no aprendizado profundo. Ele descreve o método tradicional de programar um computador escrevendo um programa a seguir, passo a passo, versus o método preferido de dizer a um computador como aprender por meio de uma rede neural com um algoritmo de aprendizado. Esse método envolve o uso de neurônios artificiais com linhas de entrada e pesos que se adaptam alterando as intensidades desses pesos. Hinton também explica o processo de adaptação dessas conexões usando um algoritmo simples que funciona de maneira semelhante à ideia de evolução, onde as redes podem ser consertadas até que façam coisas boas. Ele conclui esta seção descrevendo como o cálculo pode ser usado para fazer o mesmo processo de forma mais eficiente.
  
  
• 00:05:00 Nesta seção, Geoffrey Hinton explica as lutas que o aprendizado profundo teve em seus primeiros dias, particularmente com o algoritmo de retropropagação. A princípio, as pessoas desistiram da retropropagação porque não estava funcionando bem, mas poucos avanços técnicos foram feitos em Toronto, Montreal e Nova York que a melhoraram exponencialmente com muitos dados de rótulos e muito poder de computação, o que tornou escalável também. Um dos problemas práticos que o aprendizado profundo impactou primeiro foi o reconhecimento de manuscrito. Um grupo de alunos tentou aplicar o algoritmo de Hinton ao reconhecimento de fala, que na época tinha apenas alguns milhões de exemplos de treinamento, e não era considerado prático em termos estatísticos. No entanto, eles foram capazes de prever qual fonema estava sendo dito e encadear expressões plausíveis, e esses sistemas de reconhecimento de fala agora estão sendo amplamente usados em vários sistemas de ponta a ponta.
  
  
• 00:10:00 Nesta seção, Geoffrey Hinton discute como eles usaram redes neurais de aprendizado profundo para vencer a competição ImageNet em 2012. O sistema foi capaz de reconhecer assuntos nas imagens com quase metade da taxa de erro dos sistemas convencionais de visão computacional, que tinha estabilizado em cerca de 25% de taxa de erro. Esse sucesso teve um grande impacto quando as pessoas perceberam o potencial das redes neurais de aprendizado profundo no reconhecimento de imagens. Hinton também explica como as redes recorrentes são usadas para lidar com sequências como a fala. Os neurônios ocultos se conectam a si mesmos, permitindo que o sistema acumule informações e aprenda por retropropagação. Esses algoritmos foram usados posteriormente para traduções automáticas, codificando uma frase em um idioma em um pensamento e, em seguida, traduzindo-o em uma frase em outro idioma.
  
  
• 00:15:00 Nesta seção, Geoffrey Hinton discute o problema com a IA simbólica e como a forma atual de aprendizado profundo resolve esse problema. A visão tradicional da IA simbólica assumiu que o mesmo tipo de símbolos usados na entrada e na saída também eram usados no meio, enquanto os especialistas em aprendizado profundo usam vetores de atividade neural para processar dados. O texto de entrada é codificado em um vetor que incorpora recursos aprendidos pela rede. A rede decodificadora então pega esse vetor e produz o pensamento, que é então transformado em uma nova linguagem. Curiosamente, tais sistemas funcionam melhor sem deixar entrar muito conhecimento linguístico. Em vez disso, o Google Tradutor usa um alfabeto fixo de 32.000 fragmentos de um idioma e treina a rede com retropropagação, onde começa com pesos aleatórios e volume de dados para melhorar consistentemente os pesos.
  
  
• 00:20:00 Nesta seção, Geoffrey Hinton descreve algumas das melhorias feitas nos sistemas de tradução automática, como a adição de atenção e o uso de fragmentos de palavras em vez de palavras inteiras. Ele também discute a combinação de reconhecimento de imagem e geração de linguagem e como isso pode levar ao raciocínio natural em máquinas. Apesar do sucesso desses sistemas, Hinton sugere que precisaremos de redes neurais com vários parâmetros comparáveis ao cérebro humano para alcançar o verdadeiro processamento de linguagem natural.
  
  
• 00:25:00 Nesta seção, Geoffrey Hinton discute o potencial dos algoritmos de aprendizado profundo para exceder o desempenho humano na interpretação de imagens médicas. Ele observa que já existe um sistema para detectar cânceres de pele que é tão bom quanto um dermatologista e, com mais treinamento em mais imagens, pode ter um desempenho significativamente melhor. Hinton também aponta que uma rede neural treinada em rótulos produzidos por médicos pode às vezes superar os próprios médicos, pois a rede pode descobrir o que está acontecendo quando os médicos discordam. Por fim, ele conta a história de um aluno que venceu uma competição para prever se uma molécula se ligaria a algo usando uma rede neural com várias camadas de unidades lineares retificadas e muito mais parâmetros do que casos de treinamento, e o fez sem saber o nome do área de estudo.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Geoffrey Hinton

Heróis do Deep Learning: Andrew Ng entrevista Geoffrey Hinton

Geoffrey Hinton, uma figura importante no aprendizado profundo, discutiu sua jornada e contribuições para o campo em uma entrevista com Andrew Ng. Ele fala sobre as origens da incorporação de palavras, desenvolvimentos restritos de máquinas de Boltzmann e seu trabalho recente sobre pesos rápidos e cápsulas. Hinton observa o papel crucial do aprendizado não supervisionado nos avanços do aprendizado profundo e aconselha os alunos a ler amplamente, trabalhar em projetos de grande escala e encontrar consultores com interesses semelhantes. Hinton acredita que está ocorrendo uma mudança significativa na computação, onde os computadores aprendem mostrando, e adverte que as universidades devem alcançar a indústria no treinamento de pesquisadores para essa nova abordagem.

• 00:00:00 Geoffrey Hinton fala sobre como se interessou por IA e aprendizado de máquina. No colégio, um amigo o apresentou à ideia do cérebro usando hologramas, o que despertou seu interesse em como o cérebro armazena memórias. Ele estudou fisiologia e física na universidade, mas mudou para a psicologia quando a considerou inadequada para explicar o funcionamento do cérebro. Depois de tirar uma folga para ser carpinteiro, ele foi para Edimburgo para estudar IA com Longer Higgins, que era cético em relação às redes neurais na época. Hinton acabou obtendo um PhD em IA e foi para a Califórnia, onde pensar sobre como o cérebro funciona era visto como algo positivo. Ele colaborou com David Rumelhart no Backpropagation Algorithm, que eles publicaram em 1986 e finalmente ajudaram a comunidade a aceitar o algoritmo.
  
  
• 00:05:00 Nesta seção, Hinton discute as origens das incorporações de palavras, que permitiram que o backprop aprendesse representações de palavras, e o fato de que Stuart Sutherland ficou impressionado com a forma como, treinando um modelo em trigêmeos de palavras, o programa poderia aprender características da semântica, como nacionalidade, geração e muito mais. Hinton observa que o desenvolvimento de incorporações de palavras combinou duas visões diferentes de conhecimento (a visão de um psicólogo de conceitos como pacotes de recursos com a visão de IA de conceitos como eles se relacionam com outros conceitos), o que aumentou a taxa de aceitação do artigo. No início dos anos 90, Bengio mostrou que os desenvolvedores poderiam usar uma abordagem semelhante para derivar palavras incorporadas a partir de dados, impressionando muitos. Mais tarde, Hinton falou sobre os desenvolvimentos feitos com máquinas boltzmann restritas (RBMs), que foram um fator significativo no ressurgimento de redes neurais profundas.
  
  
• 00:10:00 Nesta seção, Geoffrey Hinton fala sobre seu trabalho no treinamento de máquinas de Boltzmann restritas com uma camada de recursos ocultos e usando esses recursos aprendidos como dados para treinar outra camada. Ele explica que essa abordagem levou ao desenvolvimento de uma maneira eficiente de fazer inferência em redes de crenças sigmoides, o que foi uma melhoria significativa em relação aos métodos anteriores. Ele também discute seu trabalho sobre métodos variacionais e o desenvolvimento da matemática por trás do uso de unidades lineares retificadas (ReLU) em redes neurais. Por fim, ele observa que, em 2014, deu uma palestra no Google sobre o uso do ReLU e a inicialização com a matriz de identidade, que copia padrões na camada abaixo, levando a melhorias significativas no treinamento de redes neurais profundas.
  
  
• 00:15:00 Geoffrey Hinton discute seu arrependimento por não perseguir a ideia de inicializar redes com a identidade, o que permitiria o treinamento eficiente de redes neurais profundas. Ele compartilha seus pensamentos sobre a relação entre backpropagation e o cérebro, afirmando que, se backpropagation é um bom algoritmo para aprendizado, então o cérebro poderia ter descoberto como implementá-lo. Ele propõe a ideia de usar pesos rápidos que mantêm a memória de curto prazo para lidar com várias escalas de tempo no aprendizado profundo, que ele apresentou pela primeira vez em seus dias de pós-graduação.
  
  
• 00:20:00 Nesta seção da entrevista, Geoffrey Hinton discute seu trabalho mais recente sobre pesos rápidos e chamadas recursivas, que envolve o uso de pesos rápidos para armazenar a memória dos estados de atividade dos neurônios durante uma chamada recursiva. Ele também fala sobre sua ideia de cápsulas, que envolve a representação de entidades multidimensionais por um vetor e o uso de diferentes atividades de neurônios para representar vários aspectos desse recurso. Os neurônios são agrupados em pequenos feixes que representam diferentes coordenadas do recurso ou subconjunto de cápsulas, cada um capaz de representar uma instância de um recurso com muitas propriedades diferentes, em vez de uma propriedade escalar, como nas redes neurais tradicionais. Essas cápsulas podem encaminhar informações por meio de um sistema de roteamento por acordo, que permite uma melhor filtragem e generalização de redes neurais a partir de dados limitados. Apesar de sofrer rejeições de artigos sobre essa ideia, Hinton permanece otimista e persistente na busca de cápsulas.
  
  
• 00:25:00 Geoffrey Hinton discute como seu pensamento sobre IA e aprendizado profundo evoluiu ao longo de várias décadas. Ele fala sobre como inicialmente estava interessado em retropropagação e aprendizado discriminativo e depois mudou seu foco para aprendizado não supervisionado no início dos anos 90. Hinton também fala sobre como o aprendizado supervisionado funcionou incrivelmente bem na última década, mas ele ainda acredita que o aprendizado não supervisionado será crucial para avanços futuros. Ele menciona autocodificadores variacionais e redes adversárias generativas como ideias promissoras para aprendizado não supervisionado. Hinton também fornece conselhos para pessoas que desejam entrar no aprendizado profundo, recomendando que leiam o máximo que puderem e tentem trabalhar em um projeto de grande escala para ganhar experiência.
  
  
• 00:30:00 Nesta seção, a conversa gira em torno de conselhos para pesquisadores e alunos no campo de IA e aprendizagem profunda. Hinton sugere que os pesquisadores criativos devem ler um pouco da literatura e procurar algo que todo mundo esteja fazendo de errado e, então, descobrir como fazer certo. Ele também aconselha a nunca parar de programar e confiar em suas intuições. Ele incentiva os alunos de pós-graduação a encontrar um orientador que tenha crenças e interesses semelhantes aos deles para obter os conselhos mais úteis. Em termos de ingressar em um programa de doutorado ou em um importante grupo de pesquisa em uma corporação, Hinton observa que atualmente há uma escassez de acadêmicos treinados em aprendizado profundo, mas que ele acha que será temporário, pois os departamentos acompanham o cenário em mudança de o campo.
  
  
• 00:35:00 Geoffrey Hinton explica que está ocorrendo uma mudança significativa no uso de computadores, onde ao invés de programá-los, nós agora os mostramos e eles descobrem. Essa nova abordagem da computação é diferente e significativa, e os departamentos de ciência da computação devem reconhecer e acolher a demonstração de que essa abordagem é tão importante quanto a programação no impacto da ciência da computação. Embora as grandes empresas estejam agora treinando pessoas nessa nova abordagem, Hinton acredita que não demorará muito até que as universidades se atualizem. Hinton continua explicando a mudança de paradigma na IA de uma crença de que as representações necessárias para a inteligência eram expressões simbólicas de alguma lógica limpa para a visão atual de que os pensamentos são apenas grandes vetores de atividade neural.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Yann LeCun

Heróis do Deep Learning: Andrew Ng entrevista Yann LeCun

Nesta entrevista entre Andrew Ng e Yann LeCun, LeCun discute seu interesse inicial em IA e a descoberta de redes neurais. Ele também descreve seu trabalho em redes neurais convolucionais e a história por trás das CNNs.
LeCun fala sobre como ele persistiu no campo, apesar da falta de interesse em redes neurais em meados dos anos 90, e eventualmente seu trabalho em CNNs assumiu o campo da visão computacional.
Ele também discute o momento decisivo na visão computacional quando a equipe AlexNet venceu a competição ImageNet de 2012 e aconselha aqueles que buscam uma carreira em IA e aprendizado de máquina a se tornarem úteis, contribuindo para projetos de código aberto ou implementando algoritmos.

• 00:00:00 Nesta seção, Yann LeCun fala sobre seu interesse inicial em inteligência artificial e como ele se deparou com o conceito de redes neurais. Ele descreve como descobriu trabalhos de pesquisa sobre as redes perceptron e autômatos, inspirando-o a pesquisar como treinar redes neurais com várias camadas. Isso o levou a conhecer pessoas em um laboratório independente na França que estavam interessadas na mesma coisa e, finalmente, em seu trabalho com máquinas de Boltzmann.
  
  
• 00:05:00 Nesta seção, LeCun fala sobre como conheceu Terry Zaleski, que estava trabalhando em retropropagação na época, e como ambos o inventaram independentemente antes de se conhecerem. Ele também menciona como começou a trabalhar em redes convolucionais durante seu tempo no AT&T Bell Labs e como as testou em um pequeno conjunto de dados que criou desenhando caracteres com o mouse e como isso levou à criação do conjunto de dados USPS com 5.000 dados de treinamento. amostras. Ele treinou uma rede convolucional neste conjunto de dados e obteve melhores resultados do que outros métodos usados na época.
  
  
• 00:10:00 Nesta seção da entrevista, Yann LeCun discute a história das redes neurais convolucionais, ou CNNs. Ele fala sobre a primeira versão da rede comercial que eles desenvolveram no Bell Labs, que não tinha camadas separadas de subsampling e pooling, e como eles tiveram que fazer melhorias significativas na rede para reduzir o tempo de computação. LeCun também compartilha uma história interessante sobre dar uma palestra na CNNs, onde Geoff Hinton disse a ele que "se você fizer todas as coisas sensatas, realmente funcionará". No entanto, apesar dos resultados promissores, as CNNs não foram amplamente adotadas fora da AT&T devido à falta de internet, software padronizado e plataformas de hardware.
  
  
• 00:15:00 Nesta seção, Yann LeCun discute seu trabalho em reconhecimento de caracteres e como isso o levou a iniciar o projeto "Digital Djvu" para armazenar e compactar digitalmente documentos digitalizados para compartilhamento na Internet. Ele também fala sobre como sempre acreditou que as técnicas de deep learning acabariam se tornando úteis, principalmente com o crescente poder dos computadores, mas devido à falta de interesse em meados dos anos 90, houve cerca de 7 anos em que ninguém pesquisava redes neurais. . Apesar desse revés, LeCun continuou a persistir no campo, e seu trabalho em redes neurais convolucionais assumiu o campo da visão computacional e começou a invadir significativamente outros campos.
  
  
• 00:20:00 Nesta seção do vídeo, Yann LeCun descreve o momento decisivo na comunidade de visão computacional quando a equipe AlexNet venceu a competição ImageNet de 2012 por uma grande margem, surpreendendo a maioria da comunidade. LeCun continua discutindo seu ponto de vista único sobre como a pesquisa corporativa deve ser feita, explicando que ele teve muita liberdade para configurar o Facebook AI Research (FAIR) da maneira que achou mais apropriada, com ênfase na pesquisa aberta e colaboração com universidades. Ele ainda menciona que a grande maioria de suas publicações nos últimos quatro anos foi com seus alunos na NYU.
  
  
• 00:25:00 Nesta seção, Yann LeCun aconselha aqueles que buscam uma carreira em IA e aprendizado de máquina a se tornarem úteis, contribuindo para um projeto de código aberto ou implementando um algoritmo e disponibilizando-o para outras pessoas. Ele acredita que as ferramentas e os recursos disponíveis agora facilitam o envolvimento das pessoas em algum nível, até mesmo estudantes do ensino médio. Ao fazer contribuições interessantes e úteis, os indivíduos podem ser notados e potencialmente conseguir um emprego em uma empresa desejada ou ser aceito em um programa de doutorado.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Ian Goodfellow

Heróis do Deep Learning: Andrew Ng entrevista Ian Goodfellow

Em entrevista a Andrew Ng, Ian Goodfellow fala sobre sua paixão pelo aprendizado profundo e como se interessou pela área enquanto estudava em Stanford. Goodfellow discute sua invenção de redes adversárias generativas (GANs) e seu potencial em aprendizado profundo, ao mesmo tempo em que enfatiza a necessidade de tornar as GANs mais confiáveis. Ele reflete sobre como seu pensamento sobre IA e aprendizado profundo evoluiu ao longo dos anos, desde simplesmente fazer a tecnologia funcionar para tarefas relacionadas a IA até explorar todo o potencial dos modelos de aprendizado profundo. Goodfellow também compartilha conselhos para aqueles que desejam se envolver com IA, afirmando que escrever um bom código e criar segurança em algoritmos de aprendizado de máquina desde o início são cruciais.

• 00:00:00 Nesta seção, Ian Goodfellow discute como se interessou pelo campo de IA e aprendizado profundo, graças ao seu orientador de graduação em Stanford e às aulas de IA na Internet de Andrew Ng. Ele explica como ele e um amigo construíram uma das primeiras máquinas baseadas em GPU CUDA em Stanford e como isso levou à sua forte intuição de que o aprendizado profundo era o caminho a seguir no futuro. Goodfellow continua falando sobre sua invenção de GANs e como ele surgiu com o conceito enquanto estudava modelos generativos. Por fim, ele reflete sobre uma experiência pessoal que reafirmou seu compromisso com a pesquisa de IA.
  
  
• 00:05:00 Nesta seção, Ian Goodfellow discute o potencial de redes adversárias generativas (GANs) e seu futuro em aprendizado profundo. Ele explica que, embora os GANs estejam sendo usados atualmente para uma variedade de tarefas, eles geralmente não são confiáveis, e estabilizá-los é um dos principais focos de sua pesquisa. Goodfellow acredita que, embora os GANs sejam importantes agora, eles serão eventualmente substituídos por outras formas de modelos generativos se não forem mais confiáveis. Ele também discute sua experiência como coautor do primeiro livro sobre aprendizado profundo e enfatiza a importância de entender os princípios matemáticos subjacentes ao dominar o campo. Por fim, Goodfellow reflete sobre como seu pensamento sobre IA e aprendizado profundo evoluiu ao longo dos anos, desde simplesmente fazer a tecnologia funcionar para tarefas relacionadas a IA até explorar todo o potencial dos modelos de aprendizado profundo.
  
  
• 00:10:00 Nesta seção, Ian Goodfellow discute a evolução do aprendizado profundo e a infinidade de caminhos que existem na IA. Ele compartilha conselhos para aqueles que desejam se envolver com IA, afirmando que escrever um bom código e colocá-lo no GitHub pode chamar a atenção, e trabalhar em um projeto junto com a leitura de livros pode ser útil. Ele também fala sobre a importância de criar segurança nos algoritmos de aprendizado de máquina desde o início, em vez de adicioná-la posteriormente. Essas medidas garantiriam que os algoritmos fossem seguros e evitariam que problemas de segurança surgissem posteriormente.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Andrej Karpathy

Heróis do Deep Learning: Andrew Ng entrevista Andrej Karpathy

Em uma entrevista com Andrew Ng, Andrej Karpathy discute sua introdução ao aprendizado profundo por meio de uma aula com Geoff Hinton e como ele se tornou a referência humana para a competição de classificação de imagens ImageNet. Ele fala sobre os resultados surpreendentes quando as redes profundas de software superaram seu desempenho e decidiram ensinar isso a outras pessoas por meio da criação de um curso online. Karpathy também discute o futuro da IA e como o campo provavelmente se dividirá em duas trajetórias: IA aplicada e AGI. Ele aconselha aqueles que desejam entrar no campo do aprendizado profundo a construir um entendimento completo de toda a pilha, implementando tudo do zero.

• 00:00:00 Nesta seção, Andrej Karpathy fala sobre como ele se interessou pela aprendizagem profunda durante seus estudos de graduação na Universidade de Toronto enquanto fazia uma aula com Geoff Hinton. Ele também discute como se tornou o benchmark humano para a competição de classificação de imagens ImageNet e criou uma interface Javascript para entender como o benchmark se compara às capacidades humanas. Ele descreve o desafio de categorizar imagens de mil categorias e a surpreendente constatação de que um terço do conjunto de dados do ImageNet era composto por cachorros, o que o levou a gastar um tempo extraordinariamente longo treinando espécies caninas.
  
  
• 00:05:00 Nesta seção, Andrej Karpathy fala sobre sua surpresa quando redes profundas de software superaram seu desempenho em determinadas tarefas. Ele discute como a tecnologia foi transformadora e decidiu ensinar outras pessoas sobre ela por meio da criação de um curso online. A capacidade de entender a tecnologia e o fato de ela estar sempre mudando diariamente é o que deixou os alunos empolgados. Karpathy também fala sobre como o campo de aprendizado profundo está evoluindo rapidamente e como a tecnologia se generalizou. Ele está surpreso com o quão bem funciona não apenas para ImageNet, mas também para ajuste fino e transferência de aprendizagem. Ele também está surpreso com a forma como o aprendizado não supervisionado ainda não cumpriu a promessa que muitos pesquisadores esperavam.
  
  
• 00:10:00 Nesta seção, Karpathy discute o futuro da IA, afirmando que o campo provavelmente se dividirá em duas trajetórias. A primeira é a IA aplicada, que envolve o uso de redes neurais para aprendizado supervisionado e possivelmente não supervisionado, e a outra é a AGI, que se concentra na criação de uma única rede neural que é um sistema dinâmico completo. Ele acha que decompor a IA em várias partes e depois reuni-las é incorreto e, em vez disso, defende o uso de uma única rede neural como um agente inteiro para criar objetivos que podem otimizar pesos e obter comportamento inteligente. Quando perguntado sobre conselhos para aqueles que desejam entrar no campo de aprendizado profundo, Karpathy incentiva a construção de um entendimento completo de toda a pilha, implementando tudo do zero, em vez de apenas trabalhar com uma estrutura como o TensorFlow.
  

[MetaQuotes]

Heróis do aprendizado profundo: Andrew Ng entrevista o diretor de pesquisa de IA da Apple, Ruslan Salakhutdinov

Heróis do aprendizado profundo: Andrew Ng entrevista o diretor de pesquisa de IA da Apple, Ruslan Salakhutdinov

Ruslan Salakhutdinov, diretor de pesquisa de IA da Apple, discute a evolução do aprendizado profundo, os desafios no treinamento de modelos generativos e aprendizado não supervisionado, e as fronteiras empolgantes na pesquisa de aprendizado profundo. Ele também incentiva os pesquisadores a explorar diferentes métodos e não ter medo de inovar.
Salakhutdinov enfatiza a importância de construir sistemas baseados em diálogo e aqueles que podem ler o texto de forma inteligente, e o objetivo final de alcançar habilidades de aprendizado mais semelhantes às humanas.

• 00:00:00 Nesta seção, Ruslan Salakhutdinov discute como começou no aprendizado profundo, começando com um encontro casual com Jeff Hinton, que o apresentou ao conceito de usar máquinas Boltzmann restritivas e treinamento supervisionado. Com a ajuda e orientação de Hinton, Salakhutdinov foi co-autor de um dos primeiros artigos sobre máquinas de Boltzmann restritas, que ajudou a impulsionar o ressurgimento de redes neurais e aprendizado profundo. No entanto, à medida que o poder de computação melhorou, os pesquisadores perceberam que não havia necessidade de pré-treinamento usando máquinas restritivas de Boltzmann e puderam treinar modelos profundos diretamente usando técnicas de otimização tradicionais.
  
  
• 00:05:00 Nesta seção, Ruslan Salakhutdinov discute a evolução do aprendizado profundo e a importância do pré-treinamento nos primeiros dias, quando os computadores eram mais lentos. Ele também menciona o desafio de treinar modelos generativos e aprendizado não supervisionado em comparação com o aprendizado supervisionado. Embora tenha havido progresso na modelagem generativa com técnicas como autoencoders variacionais e modelos de energia como os de seu próprio laboratório, ele acredita que maneiras mais eficientes e escaláveis de treinar modelos não supervisionados precisam ser descobertas. Ele enfatiza que esta é uma área importante para os interessados em deep learning explorar.
  
  
• 00:10:00 Nesta seção, Ruslan Salakhutdinov, diretor de pesquisa de IA da Apple, discute os desafios de usar uma grande quantidade de dados não rotulados em aprendizado de máquina, bem como conselhos para quem deseja entrar no campo. Ele incentiva os pesquisadores a experimentar métodos diferentes e não ter medo de inovar, citando um exemplo de como ele e sua equipe enfrentaram o difícil problema de otimizar sistemas altamente não convexos em redes neurais. Salakhutdinov também discute os prós e os contras de fazer um PhD em vez de ingressar em uma empresa na área de aprendizado profundo, enfatizando que tanto a academia quanto a indústria oferecem oportunidades interessantes para pesquisa e desenvolvimento.
  
  
• 00:15:00 Nesta seção, Ruslan Salakhutdinov discute as emocionantes fronteiras da pesquisa de aprendizado profundo, especificamente em áreas como aprendizado de reforço profundo, raciocínio e compreensão de linguagem natural, e a capacidade de aprender com menos exemplos. Ele observa que houve muito progresso no treinamento de IA em mundos virtuais, e o desafio agora é dimensionar esses sistemas, desenvolver novos algoritmos e fazer com que os agentes de IA se comuniquem entre si. Além disso, ele destaca a importância de construir sistemas baseados em diálogo e que possam ler o texto de forma inteligente. Finalmente, ele menciona o objetivo de alcançar habilidades de aprendizagem mais humanas.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Yoshua Bengio

Heróis do Deep Learning: Andrew Ng entrevista Yoshua Bengio

Andrew Ng entrevista Yoshua Bengio e eles discutem vários tópicos relacionados ao aprendizado profundo. Bengio expressa como entrou no aprendizado profundo e como seu pensamento sobre redes neurais evoluiu.
Ele também discute suas contribuições para o desenvolvimento de incorporações de palavras para sequências de palavras e aprendizado profundo com pilhas de codificadores automáticos. Além disso, Bengio enfatiza a importância do aprendizado não supervisionado e seu interesse em entender a relação entre o aprendizado profundo e o cérebro.
Bengio destaca a necessidade de entender a ciência do aprendizado profundo e a pesquisa adequada para enfrentar grandes desafios. Finalmente, eles se concentram na necessidade de um forte conhecimento básico de matemática para uma carreira em aprendizado profundo e na importância da educação continuada.

• 00:00:00 Nesta seção, Yoshua Bengio discute como entrou no aprendizado profundo, começando com seu amor pela ficção científica e seus estudos de pós-graduação em 1985. Ele fala sobre sua empolgação quando descobriu o mundo do pensamento sobre a inteligência humana e como pode se conectar com a inteligência artificial. Bengio também reflete sobre como seu pensamento sobre redes neurais evoluiu, desde os experimentos iniciais até o desenvolvimento de teorias e justificativas sólidas de por que certas técnicas, como backprop e profundidade, funcionam tão bem. Além disso, ele fala sobre sua surpresa ao ver que a função ReLU funciona melhor do que as não linearidades suaves tradicionais que ele inicialmente pensou serem necessárias. Bengio enfatiza a importância da informação distribuída através da ativação de muitos neurônios e como ela se conecta aos insights iniciais que o entusiasmaram com as redes neurais.
  
  
• 00:05:00 Nesta seção, Yoshua Bengio discute seu trabalho inicial sobre o uso de redes neurais para lidar com a maldição da dimensionalidade e criar distribuições conjuntas eficientes sobre muitas variáveis aleatórias. Ele também menciona seu trabalho na criação de incorporações de palavras para sequências de palavras, que permitem a generalização entre palavras com significados semânticos semelhantes. Bengio continua mencionando várias outras invenções ou ideias importantes de seu grupo de pesquisa, incluindo o desenvolvimento de aprendizagem profunda com pilhas de autoencoders e o uso de atenção na tradução automática neural. Ele também discute seu interesse em entender a relação entre aprendizado profundo e o cérebro e seu trabalho no desenvolvimento de um sistema semelhante à retropropagação que pode ser implementado pelo cérebro.
  
  
• 00:10:00 Nesta seção, Yoshua Bengio fala sobre sua inspiração nos pensamentos de Geoff Hinton sobre como o cérebro funciona e o uso potencial do código temporal para ele. Ele discute como o aprendizado não supervisionado é essencial, pois permite a construção de modelos mentais que explicam o mundo sem dados rotulados. Ele também fala sobre sua combinação de aprendizado não supervisionado e aprendizado por reforço para obter uma melhor compreensão dos conceitos subjacentes separados uns dos outros, explorando e tentando controlar as coisas. O problema com a pesquisa de aprendizado não supervisionado é que existem tantas maneiras diferentes de atacar esse problema, e não há uma boa definição do que constitui uma boa função objetivo para medir se um sistema está indo bem ou não. Por fim, Yoshua expressa que o estado atual de aprendizado profundo ainda está longe de onde ele gostaria que estivesse e ele se sente ambicioso em levá-lo ao próximo nível.
  
  
• 00:15:00 Nesta seção, Yoshua Bengio fala sobre sua empolgação com a pesquisa focada nos princípios fundamentais de como os computadores podem observar e interagir com o mundo para descobrir como ele funciona. Ele discute como essa pesquisa levará a uma melhor compreensão de como o mundo funciona e espera que ajude a enfrentar grandes desafios, como transferência de aprendizado e questões conjuntas de nações. Bengio observa que a experimentação em problemas menores pode levar a ciclos de pesquisa mais rápidos e melhor compreensão, que podem eventualmente ser ampliados. Ele enfatiza a importância de entender o que está acontecendo no aprendizado profundo e a necessidade de compartilhar pensamentos sobre a ciência do aprendizado profundo.
  
  
• 00:20:00 Nesta seção, Yoshua Bengio, uma figura renomada em aprendizado profundo, discutiu a importância de entender os fenômenos de interesse e realizar pesquisas adequadas, em vez de apenas se esforçar para superar referências ou concorrentes. Para os indivíduos que desejam entrar no campo, ele enfatizou a necessidade de prática, incluindo leitura, codificação e experimentação. Bengio afirmou que, embora uma sólida formação em ciência da computação e matemática seja útil, indivíduos sem conhecimento prévio de aprendizado de máquina ainda podem aprender e se tornar proficientes em alguns meses.
  
  
• 00:25:00 Neste trecho, Andrew Ng e Yoshua Bengio discutem a importância de ter um forte conhecimento básico de matemática, como álgebra, otimização e cálculo ao seguir uma carreira em aprendizado profundo. Bengio enfatiza a necessidade de educação e aprendizado contínuos para se manter atualizado no campo. Ambos expressam gratidão pela oportunidade de compartilhar suas percepções e conhecimentos com outras pessoas.

[MetaQuotes]

Heróis do Deep Learning: Andrew Ng entrevista Pieter Abbeel

Heróis do Deep Learning: Andrew Ng entrevista Pieter Abbeel

Pieter Abbeel discute os desafios e o potencial do aprendizado por reforço profundo nesta entrevista com Andrew Ng. Ele observa a necessidade de mais trabalho em exploração, atribuição de crédito e geração de exemplos negativos.
Abbeel também destaca as preocupações de segurança e a importância de coletar dados de aprendizagem seguros ao ensinar os robôs a viver de forma autônoma. Ele aconselha as pessoas a buscarem a prática prática com estruturas populares e sugere os benefícios de receber orientação de profissionais experientes.
Além disso, ele sugere a necessidade de aprendizado por reforço para dar às máquinas objetivos de realização e observa a importância da clonagem comportamental e do aprendizado supervisionado antes de adicionar o componente de aprendizado por reforço.

• 00:00:00 Nesta seção, Pieter Abbeel fala sobre como ele inicialmente se interessou por engenharia por causa de seus interesses em matemática e física, e como isso o levou ao aprendizado de máquina e ao aprendizado de reforço profundo. Ele fala sobre os desafios que ainda existem no aprendizado por reforço profundo, como exploração e atribuição de crédito, e como ainda há a necessidade de exemplos negativos serem gerados para melhorar esses sistemas. Ele também observa que os sucessos do aprendizado por reforço profundo ocorreram principalmente em horizontes de tempo curtos e que ainda há muito trabalho a ser feito nesse campo para permitir que os sistemas raciocinem em prazos mais longos.
  
  
• 00:05:00 Nesta seção da entrevista, Pieter Abbeel discute os desafios de ensinar um robô ou agente de software a viver uma vida autônoma, apontando que a segurança apresenta uma série de questões, incluindo a coleta de dados de aprendizagem seguros. Ele também compartilha sua empolgação em explorar ativamente e reforçar os algoritmos de aprendizado para criar mecanismos mais eficientes que possam substituir o design humano no futuro. Por fim, ele oferece conselhos para aqueles que buscam uma carreira em inteligência artificial, destacando que o campo oferece vastas oportunidades de trabalho e sugerindo material de aprendizado on-line, como os cursos de aprendizado profundo de Andrew Ng e Berkeley para começar.
  
  
• 00:10:00 Nesta seção, Pieter Abbeel discute como começar a aprender sobre aprendizado profundo e aprendizado de máquina, enfatizando a importância da prática prática e da experimentação com estruturas populares como TensorFlow e PyTorch. Ele também discute os prós e os contras de fazer um doutorado em vez de conseguir um emprego em uma grande empresa, destacando as vantagens de receber orientação de profissionais experientes. Abbeel passa a descrever alguns dos sucessos do aprendizado por reforço profundo, como um robô aprendendo a correr ou jogar jogos clássicos do Atari do zero, mas observa que o próximo passo é descobrir como reutilizar esse conhecimento aprendido para tarefas futuras. Ele também prevê que muitas empresas contarão com o aprendizado supervisionado com assistência humana no futuro imediato.
  
  
• 00:15:00 Nesta seção, Pieter Abbeel sugere o uso de aprendizado por reforço para dar às máquinas objetivos de realização, em vez de apenas corresponder às ações humanas. A máquina será treinada usando clonagem comportamental ou aprendizado supervisionado antes de adicionar o componente de aprendizado por reforço. Essa abordagem é demorada, mas eficaz no desenvolvimento de máquinas que podem atingir objetivos definidos. O aprendizado por reforço sozinho pode ser perigoso e demorado.