AI 2023. Встречайте ChatGPT. - страница 51
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Опять в работе с ChatGPT произошел неприятный казус.
Собрался переводить вебинар Стенфордского профессора Кристофера Поттса, заведующего кафедрой лингвистики на факультете компьютерных наук, на тему последних прорывов в области обработки естественного языка и технологии языковых моделей. Взял текст часового видео вебинара с Ютьюба и частями закинул в Гугл переводчик. В итоге, получил 19 страниц неотредактированного и нечитабельного перевода.
Понимая, что самостоятельное редактирование займет целый день, решил "скармливать" ChatGPT куски текста и просить пересказать их от первого лица, за что ИИ с энтузиазмом взялся. Результат получался вполне достойный. Однако, несколько раз ChatGPT "зависал" и я говорил ему "продолжай" и он продолжал.
Под конец, я засомневался и решил проверить соответствие оригинального текста пересказу ИИ и к своему огорчению понял, что после слова "продолжай" чат писал отсебятину. К счастью, я лишь несколько раз говорил ему "продолжай" и думаю, основной текст он пересказал правильно.
В любом случае, скоро закончу и опубликую лекцию профессора. Очень интересная речь.
И так, речь профессора Стенфордского университета Кристофера Поттса "GPT-3 & Beyond".
(Переведено Гугл и отредактировано ChatGPT)
(Оригинал здесь: (6) Stanford Webinar - GPT-3 & Beyond - YouTube )
Ведущая:
Крис Поттс является профессором и заведующим кафедрой лингвистики на факультете компьютерных наук. Он является экспертом в области естественного языка и преподает курс "Понимание естественного языка" в аспирантуре, который превратился в профессиональный курс. Крис также имеет интересный подкаст и проводил много исследовательских работ и проектов. Ссылки на дополнительную информацию о нем доступны на платформе. В данном контексте проводится интервью с Крисом, и ведущий благодарит его за участие в программе.
Крис Поттс:
Я считаю, что мы живем в золотом веке естественного языка, во время множества инноваций и больших перемен. В 2012 году, когда я начал преподавать курс по пониманию естественного языка в Стэнфорде, я бы не мог представить, насколько эффективными и широко распространенными станут модели и технологии, которые мы видим сегодня. Я восхищаюсь моделями, такими как DALL-E 2 и Stable Diffusion, которые обеспечивают превосходное преобразование текста в изображение, а также GitHub Copilot, который основан на модели Кодекса, чтобы создавать код. Мне также очень нравятся новые поисковые технологии, такие как You.com, которые меняют опыт поиска в Интернете. Я считаю, что социальное воздействие, которое вызывает развитие NLU, является одним из основных факторов, объединяющих нас в этом золотом веке.
Невероятные модели языка, созданные OpenAI, включая GPT-3 и новую модель Davinci-003, имеют способность преобразовывать речь в текст и отвечать на сложные вопросы. Хотя эти модели не всегда обладают глубоким пониманием мира, они все еще могут дать полные и точные ответы на многие вопросы. Также доступны бесплатные модели с открытым исходным кодом, которые могут быть загружены и использованы при наличии достаточных вычислительных ресурсов. Несмотря на то, что эти модели не всегда безупречны, скорость их прогресса в сторону надежности и заслуживающего доверия использования впечатляет.
В статье Kiela et al. 2021 года, речь идет об эталонном насыщении, которое было достигнуто быстрее, чем когда-либо. На графике, который я представил, по оси x отложено время, начиная с 1990-х годов, а по оси y - нормализованная мера оценки человеческих возможностей. Распознавание цифр MNIST и преобразование речи в текст, известные как Switchboard, были запущены в 90-х и требовали около 20 лет, чтобы достичь оценки человеческих возможностей. ImageNet был запущен в 2009 году и насыщение было достигнуто за 10 лет. Но с тестом GLUE и SuperGlue мы увидели ускорение темпа изменений. Несмотря на циничное отношение к этому показателю человеческой деятельности, мы наблюдаем быстрое увеличение скорости изменений в этой области. Я уверен, что это переносится и на настоящее время с нашими крупнейшими языковыми моделями. Это было описано в хорошем посте от Джейсона Вея. Мы наблюдаем возникновение новых возможностей в больших языковых моделях, что является впечатляющим достижением.
Взгляните на графики на экране. По оси x на графиках указан размер модели, а по оси Y – точность. В определенный момент очень большие модели могут достичь такой точности, что даже справляются с очень сложными задачами. Графики показывают, что для 137 задач модели могут продемонстрировать эту эмерджентную способность, включая задачи, которые были явно созданы для стресс-тестирования языковых моделей. Один из главных факторов, который обуславливает успех языковых моделей, является их необработанный размер. Для дальнейшего развития технологии важно понимать, как меняется размер моделей со временем. В 2018 году самая большая модель имела около 100 миллионов параметров, а к концу 2020 года была модель мегатрона с 8,3 миллиардами параметров и модель ГПТ-3 с 175 миллиардами параметров. Сейчас уже есть модель PaLM от Google, которая превышает 500 миллиардов параметров. Масштабы этих моделей абсолютно огромны, и даже в свое время, когда модели состояли только из 100 миллионов параметров, я предвидел, что они будут гигантскими. Все это может оказать влияние на жизнь людей, как положительное, так и отрицательное, и что мы живем в золотой век развития языковых моделей.Каждый из нас может внести свой вклад в развитие NLU в эту эпоху гигантских моделей. Я понимаю, что не все из нас Каждый из нас может внести свой вклад в развитие NLU в эту эпоху гигантских моделей. Я понимаю, что не все из нас могут ответить утвердительно на вопрос, имеют ли они 50 миллионов долларов и любовь к инфраструктуре глубокого обучения. Но это не значит, что мы не можем помочь.
Есть много вещей, которые мы можем делать, чтобы внести свой вклад. Мы можем работать над созданием небольших моделей. Мы можем помочь создавать лучшие тесты, которые помогут нам измерять производительность наших систем. Мы также можем помочь решить проблему последней мили для продуктивных приложений.
Но если я должен выделить одну тему, которой мы все можем заняться, то это поиск дополненного контекстного обучения. Это то, в чем мы можем участвовать множеством инновационных способов. И, конечно, мы можем помочь в создании точных объяснений, понятных человеку, о том, как работают эти модели.
Но, чтобы реализовать потенциал этих технологий, нужно сделать огромное количество вещей. Это требует двойной разработки, инноваций экспертов в предметной области, хорошо разбирающихся в взаимодействии человека с компьютером, и экспертов по искусствен Сейчас, в 2023 году, мы знаем так много, что это помогает нам разрабатывать новые методы работы с искусственным интеллектом. Мы открыли для себя такую штуку, как пошаговое рассуждение, которое позволяет моделям мыслить более разумным образом. Например, Омар Хаттаб показал мне пример подсказки, начиная с экзамена на логику и здравый смысл, и дал мне инструкции, как использовать специальную разметку для примера рассуждений, которые я хотел бы видеть. Это позволяет модели создавать свои собственные рассуждения, что в свою очередь помогает генерировать ответы на вопросы. Это интересно, потому что это значительно упрощает программирование системы ИИ, используя только подсказки, вместо того, чтобы писать сложный код глубокого обучения. Это дает нам больше возможностей для экспериментов и разработки новых систем.
Я хочу перейти к обучению в контексте дополненного поиска, который сочетает языковые модели с моделями ретривера. Большие языковые модели, такие как Transformer и BERT, произвели настоящую революцию в поиске. В 2018 году Google и Microsoft начали использовать аспекты BERT в своих поисковых технологиях. Сейчас мы объединяем языковые модели и модели ретривера, чтобы улучшить поиск. Это дает нам возможность создавать более точные результаты поиска, используя контекст и понимание естественного языка.
Я бы хотел обсудить все эти вещи подробнее, но у нас мало времени. Поэтому я предлагаю сосредоточиться на поиск Сейчас, в 2023 году, мы знаем так много, что это помогает нам разрабатывать новые методы работы с искусственным интеллектом. Мы открыли для себя такую штуку, как пошаговое рассуждение, которое позволяет моделям мыслить более разумным образом. Например, Омар Хаттаб показал мне пример подсказки, начиная с экзамена на логику и здравый смысл, и дал мне инструкции, как использовать специальную разметку для примера рассуждений, которые я хотел бы видеть. Это позволяет модели создавать свои собственные рассуждения, что в свою очередь помогает генерировать ответы на вопросы. Это интересно, потому что это значительно упрощает программирование системы ИИ, используя только подсказки, вместо того, чтобы писать сложный код глубокого обучения. Это дает нам больше возможностей для экспериментов и разработки новых систем.
Не все могут ответить утвердительно на вопрос, имеют ли они 50 миллионо Каждый из нас может внести свой вклад в развитие NLU в эту эпоху гигантских моделей. Я понимаю, что не все из нас могут ответить утвердительно на вопрос, имеют ли они 50 миллионов долларов и любовь к инфраструктуре глубокого обучения. Но это не значит, что мы не можем помочь.
Есть много вещей, которые мы можем делать, чтобы внести свой вклад. Мы можем работать над созданием небольших моделей. Мы можем помочь создавать лучшие тесты, которые помогут нам измерять производительность наших систем. Мы также можем помочь решить проблему последней мили для продуктивных приложений.
Но если я должен выделить одну тему, которой мы все можем заняться, то это поиск дополненного контекстного обучения. Это то, в чем мы можем участвовать множеством инновационных способов. И, конечно, мы можем помочь в создании точных объяснений, понятных человеку, о том, как работают эти модели.
Контекстное обучение стало популярным благодаря статье GPT-3, которая провела тщательное начальное исследование и показала многообещающие результаты. Я понял, что это работает так: у нас есть большая языковая модель, которую мы подсказываем с кучей текста, например, отрывком и заголовком из статьи GPT-3. Мы даем модели контекст и демонстрацию в виде вопроса и ответа, чтобы помочь ей учиться в контексте. Наша цель - уговорить модель отвечать на вопросы методом извлечения, чтобы найти ответ как подстроку отрывка, который мы ей дали. Когда у нас есть актуальный вопрос, на который мы хотим получить ответ от модели, мы подсказываем модели этой подсказкой и она переводит ее в какое-то состояние, а затем генерирует ответ, который мы оцениваем на успех. В контекстном обучении модель учится из контекста, который мы ей даем, в отличие от стандартной парадигмы стандартного надзора, где мы создаем набор данных положительных и отрицательных примеров и обучаем модель на этом наборе данных.
Возможно, это удивительно, но я уже вижу, что наша модель не сможет масштабироваться до сложности человеческого опыта. Для различных эмоций, таких как оптимизм и грусть, мы будем нуждаться в отдельных наборах данных и, возможно, в отдельных моделях. И это только начало всех проблем, которые мы можем захотеть решить с помощью наших моделей. Но мы можем использовать единую, большую, застывшую языковую модель для достижения всех этих целей. Мы приведем примеры моделей, только что выраженных в плоском тексте положительных и отрицательных экземпляров, и будем надеяться, что это достаточно, чтобы узнать контекст и установить различия. Модель должна усвоить значения всех терминов и наших намерений и определить, как провести различия на новых примерах из подсказки. Какие механизмы стоят за этим? Я собираюсь определить некоторые из них для вас.
В нашем курсе есть много материалов, которые помогут освоить представления Трансформера и математику. Я пропущу детали и скажу, что если вы глубоко изучите эту модель, то вы пройдете тот же путь, что и все мы. Сначала вы зададите вопрос: как это работает? Схема выглядит сложно, но потом вы поймете, что это просто набор механизмов. Но затем у вас возникнет более глубокий вопрос: почему это работает так хорошо? Этот вопрос до сих пор не полностью решен, и многие люди работают над объяснением того, почему Трансформер так эффективен.
Второй важный аспект - это самоконтроль, который является мощным механизмом для получения богатых представлений о форме и значении. Цель модели в самоконтроле заключается в том, чтобы учиться на паттернах совпадения в последовательности, на которой она обучается. Это чисто распределительное обучение. Модель учится назначать высокую вероятность аттестованным последовательностям. Это фундаментальный механизм, который позволяет изучать ассоциации между потоками символов, включая язык, компьютерный код, показания датчиков и изображения.
Самоконтроль отличается от стандартного контролируемого обучения тем, что в целях не упоминаются конкретные символы или отношения между ними. Это позволяет обучать модель на большом количестве данных без человеческих усилий. Это привело к подъему крупномасштабного предварительного обучения. В результате мы получаем богатые результаты, и это расширяет возможности моделей.
Это было невероятно в плане создания эффективных систем. Мы получили ELMO, которая была первой моделью, способной создавать контекстуальные представления слов, а затем появились действительно большие языковые модели - BERT, GPT и, наконец, GPT-3 в масштабах, ранее невообразимых. Но мы не должны забывать о роли человеческой обратной связи во всем этом. Лучшие модели OpenAI называются моделями Instruct, и они обучены гораздо большему, чем просто самоконтроль. Это связано с тем, что на первом этапе модель настраивается на наблюдение на человеческом уровне, а на втором этапе модель генерирует выходные данные, которые люди ранжируют, и эта обратная связь используется для усиления механизма обучения. Важный человеческий вклад делает эти модели более эффективными и выводит нас за пределы шага самоконтроля, что важно учитывать. Несмотря на это, необходимо признать, что большинство революционных шагов в области ИИ являются результатом огромного количества человеческих усилий, которые зачастую скрыты от общественности. Человеческая обратная связь играет важную роль в создании лучших моделей, и команды OpenAI работают очень детально, чтобы обеспечить обратную связь для различных задач. В целом, этот процесс - это последовательное и пошаговое мышление, и человеческая обратная связь играет важную роль в улучшении моделей.
Сейчас, в 2023 году, мы знаем так много, что это помогает нам разрабатывать новые методы работы с искусственным интеллектом. Мы открыли для себя такую штуку, как пошаговое рассуждение, которое позволяет моделям мыслить более разумным образом. Например, Омар Хаттаб показал мне пример подсказки, начиная с экзамена на логику и здравый смысл, и дал мне инструкции, как использовать специальную разметку для примера рассуждений, которые я хотел бы видеть. Это позволяет модели создавать свои собственные рассуждения, что в свою очередь помогает генерировать ответы на вопросы. Это интересно, потому что это значительно упрощает программирование системы ИИ, используя только подсказки, вместо того, чтобы писать сложный код глубокого обучения. Это дает нам больше возможностей для экспериментов и разработки новых систем.
Я хочу перейти к обучению в контексте дополненного поиска, который сочетает языковые модели с моделями ретривера. Большие языковые модели, такие как Transformer и BERT, произвели настоящую революцию в поиске. В 2018 году Google и Microsoft начали использовать аспекты BERT в своих поисковых технологиях. Сейчас мы объединяем языковые модели и модели ретривера, чтобы улучшить поиск. Это дает нам возможность создавать более точные результаты поиска, используя контекст и понимание естественного языка.
Я думаю, что это всего лишь две общеизвестные истории о многих примерах использования крупных поисковых технологий. В ту эпоху в них были включены элементы BERT. И потом, конечно, в нынешнюю эпоху у нас есть такие стартапы, как You.com, которые сделали большие языковые модели довольно важными для всего процесса поиска в форме предоставления результатов, а также интерактивный поиск с диалоговыми агентами. Так что все это захватывающе, но в душе я НЛПер. И поэтому для меня в некотором роде более захватывающее направление вот тот факт, что, наконец, поиск произвел революцию в НЛП, помогая нам преодолеть разрыв в гораздо более релевантных наукоемкие задачи.
Чтобы дать вам представление о том, как это происходит, давайте в качестве примера воспользуемся ответами на вопросы. Итак, до этой работы в НЛП мы ставили вопрос-ответ или ОК следующим образом: вы видели это уже в примере с GPT-3 - у вас было бы, как указано во время тестирования, заголовок и контекстный отрывок, а затем вопрос. И задача модели найти ответ на этот вопрос как буквальную подстроку отрывка контекста, что было гарантировано характером набора данных. Как вы понимаете, модели действительно хорошо справляются с этой задачей. Сверхчеловек точно справится с этой задачей. Но это также очень редкая задача. Это не естественная форма ответа на вопрос в мире, и это, безусловно, отличается от сценария, например, выполнения веб-поиска.
Так что обещание открытых формулировок этой задачи заключается в том, что мы собираемся более непосредственно связываться с реальным миром. В этой формулировке во время испытаний нам только что задали вопрос, и стандартная стратегия состоит в том, чтобы полагаться на какой-то механизм поиска, чтобы найти соответствующие доказательства в большом корпусе или, может быть, даже в Интернете.
Сейчас я предвзято описываю вещи, предполагая, что мы извлекаем отрывок, но на самом деле есть и другой подход - LLM для всего. В этом подходе нет явного ретривера, просто есть большая непрозрачная модель, которая обрабатывает вопрос и выдает ответ. Это очень вдохновляющее видение, но есть и много опасных зон.
Первое, что вызывает опасения, это эффективность. В этом подходе мы просим модель играть роль хранилища знаний и языковых возможностей, что приводит к взрывному росту размеров моделей. Если бы мы могли выделить эти функции, мы могли бы использовать меньшие модели. Еще одна проблема - возможность обновления. Если в мире что-то изменится, модель должна быть обновлена, чтобы отражать эти изменения. Это очень интересная проблема, но мы пока далеки от того, чтобы гарантировать, что изменения мира отразятся в поведении модели, что влияет на достоверность и объяснимость ее поведения.
Также есть проблема происхождения ответа. Мы не знаем, можно ли доверять модели, и откуда она взяла свой ответ. В стандартном поиске мы обычно получаем несколько страниц, чтобы проверить информацию, но здесь мы получаем только один ответ. Если бы модель сообщала, откуда она взяла информацию, это было бы полезно, но мы все равно не могли бы доверять этой информации. Это нарушает контракт между пользователем и поисковой технологией.
Несмотря на все эти проблемы, модели LLM для всего очень эффективны и могут синтезировать информацию, что делает их очень интересными. Но стоит быть осторожным и рассматривать альтернативы, такие как подходы с поиском.
Я был очень впечатлен ответом Davinci-003 на вопрос, разрешено ли профессиональным бейсболистам приклеивать на кепки маленькие крылышки. Этот вопрос был задан мне после прочтения замечательной статьи Гектора Левеска о проведении стресс-тестов для наших моделей, задавая им вопросы, которые, казалось бы, противоречат любому простому дистрибутиву или статистической модели обучения и действительно выясняют, есть ли у них модель мира. Davinci-002 дал ответ в стиле Левеска, что закона против этого нет, но не распространено, но кажется правдой. Однако, когда я задал тот же вопрос Davinci-003, он ответил, что профессиональным бейсболистам не разрешается приклеивать маленькие крылышки на шапки, потому что Высшая бейсбольная лига имеет строгие правила относительно внешнего вида формы и кепок игроков, и любые модификации шапки не допускаются. Я был разочарован и хотел бы иметь веб-страницу с доказательствами того, что это правда.
Я понял, что мы нарушили неявный контракт с пользователем, которого мы ожидаем от поиска, поэтому решил рассмотреть альтернативу НЛП, основанную на поиске или дополненном поиске. Я задал очень сложный вопрос в стандартном окне поиска и решил использовать языковую модель для закодирования запроса в плотное числовое представление, отражающее аспекты его формы и смысл. Затем мы собирались использовать ту же самую языковую модель для обработки всех документов в нашей коллекции документов, чтобы каждый имел какое-то численное представление глубокого обучения.
Теперь, на основе этих представлений, мы можем оценивать документы по запросам так же, как в старые добрые времена информационного поиска. Мы получили некоторые результаты и можем предложить их пользователю в качестве ранжированных результатов. Однако мы можем пойти дальше и использовать это богатое семантическое пространство для воспроизведения
Далее, мы можем использовать эту модель для дополненного поиска. Это означает, что мы можем использовать информацию о запросе пользователя, чтобы найти дополнительные источники информации, которые могут быть полезны для них. Например, если пользователь ищет информацию о профессиональных бейсболистах, мы можем предложить им сводку новостей о последних матчах, статистику игроков или интервью с тренерами.
Кроме того, мы можем использовать эту модель для создания более точных ответов на сложные вопросы. Например, если пользователь задает вопрос "Какие бейсболисты выиграли Мировую серию в 2010 году?", мы можем использовать модель для анализа большого количества данных и предоставления точного ответа.
Однако, как и в случае с любой моделью машинного обучения, эта модель не является идеальной. Она может иметь проблемы с пониманием сложных запросов или недостаточно точно оценивать релевантность документов. Поэтому мы должны постоянно улучшать эту модель, проводя эксперименты и обучая ее на новых данных.
Таким образом, дополненный поиск на основе модели языкового обучения может быть мощным инструментом для предоставления пользователю более точной и полезной информации. Он может использоваться для поиска ответов на сложные вопросы, дополнительного поиска и предоставления пользователю свежих новостей и другой полезной информации.
У нас есть возможность использовать другую языковую модель, которую мы называем генератором или читателем. Мы можем извлечь информацию из разных источников и синтезировать их в ответ, который напрямую удовлетворяет потребности пользователя. Это очень эффективно, так как наша система может иметь гораздо меньшее количество параметров, чем полностью интегрированный подход, и обновление ее довольно просто. Мы используем замороженную языковую модель для повторной обработки, когда страницы в хранилище документов изменяются, и мы можем гарантировать, что изменения информации будут отражены в полученных результатах. Кроме того, мы отслеживаем происхождение информации, потому что мы имеем все документы, которые используются для получения ответов. Мы используем подход, основанный на поиске, который превосходит полностью интегрированные языковые модели, но сохранили преимущества языковых моделей, так как у нас есть генератор чтения, который может синтезировать информацию в ответы, удовлетворяющие потребности пользователей.
Когда мы проектируем системы в настоящее время, мы используем предварительно обученные компоненты, такие как наш индекс и ретривер, и языковые модели, такие как генератор чтения. Но вопрос заключается в том, как объединить все эти компоненты в комплексное решение. Стандартный ответ глубокого обучения на этот вопрос заключается в определении набора параметров для конкретных задач, которые связывают все эти компоненты. На практике это может быть очень сложно для исследователей и проектировщиков систем, так как они могут быть очень непрозрачны и масштабы их велики. Но может быть, мы выходим из эпохи, когда мы должны заниматься этим вообще.
Таким образом, мы имеем систему, которая построена на использовании моделей, способных общаться на естественном языке, и ретривера, который извлекает текст и создает текст с оценками. Мы можем заставить ретривер общаться с языковой моделью, чтобы передавать сообщения между ними. Это даст возможность разработки систем, имеющих широкое пространство дизайна и влияния на то, для чего они предназначены.
Для примера, мы можем использовать систему для поиска ответа на вопрос, заданный пользователем. Мы начинаем с подсказки, содержащей вопрос, и получаем отрывок контекста с помощью ретривера. Мы также можем добавить обучающие примеры, демонстрирующие предполагаемое поведение системы, в подсказку для обучения в контексте.
Мы можем использовать ретривер, чтобы найти соответствующий контекст для каждого из обучающих примеров и помочь системе понять, как рассуждать с точки зрения доказательств. Это открывает огромное пространство для дизайна и позволяет создавать интегрированные информационные пакеты, от которых модель может извлечь выгоду.
Я, вероятно, начинаю видеть это. Мы можем немного переписать текст, используя ретривер и переплетающуюся языковую модель. Мы также можем подумать о том, как мы выбрали фоновый отрывок. Я предполагал, что мы просто получим наиболее релевантный отрывок в соответствии с нашим вопросом. Но мы также можем переписать запрос пользователя, чтобы использовать демонстрации, которые мы построили, и получить новый запрос, который поможет модели. Это особенно полезно, если у нас есть интерактивный режим, где демонстрации на самом деле являются частью истории диалога или чего-то в этом роде.
И наконец, мы можем обратить внимание на то, как мы генерируем ответ. Я предполагал, что мы возьмем высшее поколение языковой модели, но мы можем сделать гораздо больше. Мы можем отфильтровать поколения только для тех, которые сопоставляют подстроку отрывка, воспроизводящего старый способ ответа на вопрос, но теперь в этой совершенно открытой формулировке. Это может быть невероятно мощным, если мы знаем, что наша модель может извлечь здесь хорошие фоновые проходы. Это два простых шага. Мы также можем использовать полную Retrieval Augmented Generation (RAG) модель, которая создает модель полной вероятности и позволяет нам маргинализировать вклад проходов. Это может быть невероятно мощным, чтобы максимально использовать возможности модели и сгенерировать текст, зависящий от всей работы, которую мы здесь проделали.
Я надеюсь, что это дало вам представление о том, как много здесь может произойти. Я думаю, что появляется новый режим программирования, который включает использование больших предварительно обученных компонентов для разработки подсказок кодирования, которые по сути являются полными ИИ системами, которые полностью связаны с передачей сообщений между этими замороженными компонентами. У нас есть новая статья под названием "Демонстрация предсказания поиска" или DSP, которая представляет легкую среду программирования, в которой мы рассматриваем новые подходы и экспериментируем с различными комбинациями моделей и методов обучения. Как показывает опыт, такие новые идеи и методы могут привести к улучшению результатов. Я думаю, что мы находимся только в начале пути в разработке этих систем. Но уже сейчас мы можем увидеть огромный потенциал в том, что мы делаем. Я очень рад, что я могу быть частью этого процесса и участвовать в создании этих инновационных технологий.
Наша команда продолжает работать над усовершенствованием нашей системы и исследованием новых методов. Мы верим, что наши исследования и разработки будут иметь значительный вклад в развитие области искусственного интеллекта и приведут к созданию новых и более эффективных инструментов для работы с данными и автоматизации процессов.
В целом, я думаю, что мы находимся на пороге новой эры в развитии ИИ. Технологии, которые мы разрабатываем, будут иметь широкое применение в различных областях, включая науку, бизнес, медицину и другие. Я уверен, что мы можем достичь невероятных результатов, если продолжим работать вместе и не боимся экспериментировать с новыми идеями и методами.
Мы исследовали лишь крошечную часть этого пространства, и все, что мы делаем, неоптимально. И это только те условия, при которых вы получаете огромный скачок в производительности при выполнении этих задач. Так что я подозреваю, что смелая строка, которую мы имеем здесь, не будет долгой, учитывая, сколько инноваций происходит в этом пространстве. И я хочу сделать шаг для нашего курса здесь.
По сути, это работает так: у вас есть задание, которое помогает вам построить некоторые базовые планы, а затем к оригинальной системе, которую вы принимаете на конкурс, который представляет собой неформальное соревнование по данным и моделированию. Наш новейший из них называется OpenQA с несколькими выстрелами и поиском ColBERT. Это версия проблем, которые я только что описывал для вас. Это проблема, которую еще пять лет назад нельзя было осмысленно ставить. И теперь мы видим, как студенты делают невероятные, передовые вещи в этом режиме.
Это именно то, что я только что описал для вас. И мы находимся в моменте, когда студенческий проект может привести к бумаге, которая удивительным образом действительно приводит к ультрасовременным характеристикам. Опять же, потому что здесь так много исследований, которые нужно провести. У меня мало времени. Я думаю, что я просто кратко еще раз назову эти важные другие области. на которые я сегодня не обратил внимания, но я думаю, что они очень важны, начиная с наборов данных. Я говорил о системном дизайне и выполнении задач, но это сейчас и всегда будет так. что вклад в новые эталонные наборы данных — это, по сути, самое важное, что вы можете сделать.
Мне нравится эта аналогия. Жак Кусто сказал: «Вода и воздух — две основные жидкости, от которых зависит вся жизнь». Я бы распространил это на НЛП. Наши наборы данных — это ресурс, от которого зависит весь прогресс. Теперь Кусто расширил это словами: «Стали глобальными мусорными баками». Я не так циничен в отношении наших наборов данных. Думаю, мы многое узнали о том, как создавать эффективные наборы данных.
Мы становимся лучше в этом, но мы нужно остерегаться этого метафорического загрязнения. И нам всегда нужно подталкивать наши системы с более сложными задачами, которые приближаются к человеческим возможностям, которые мы на самом деле пытаясь заставить их достичь. И без добавления наборов данных мы могли бы обманывать себя, когда думаем мы делаем большой прогресс.
Второе, что я хотел вызвать относится к объяснимости модели. Сейчас мы живем в эпоху невероятного влияния, и это по праву заставило исследователей к вопросам надежности системы, безопасности, доверия, одобренного использования и пагубных социальных предубеждений. Мы должны серьезно отнестись ко всем этим вопросам, если мы собираемся ответственно оказывать все влияние что мы достигаем на данный момент.
Все это невероятно сложно, потому что системы, о которых говорим, эти огромные, непрозрачные, не поддающиеся аналитическому пониманию устройства, подобные этому, которые просто затуманивают наше понимание их. И поэтому для меня это проливает свет на важность достижения аналитических гарантий о нашем модельном поведении. Мне кажется, это необходимое условие для серьезного отношения к любой из этих тем. И цель там, в наших терминах, состоит в том, чтобы добиться верного, понятного человеку понимания объяснения поведения модели. У нас есть большое освещение этих методов в курсе, практических материалах, скринкастах и других вещах, которые помогут вам принять участие в этом исследовании. И еще как побочный эффект написать совершенно выдающиеся разделы для обсуждения и анализа ваших статей.
Я думаю, что проблема последней мили крайне важна. Мы можем достигать 95% нашей цели в области искусственного интеллекта, но последние 5% ничуть не менее сложны, чем первые 95%. Я и моя группа много думали о доступности изображений и понимании их контекста слепыми и слабовидящими пользователями. Это крайне важная социальная проблема, которая требует решения. Генерация текста на основе изображений стала невероятно хорошей за последние 10 лет, но нам нужно улучшить описания этих изображений, чтобы пользователи с ограниченными возможностями зрения могли получить всю необходимую информацию. Это потребует дополнительных исследований в области HCI и лингвистических исследований, а также фундаментальных достижений в области ИИ.
Я сделал два прогноза относительно искусственного интеллекта и его влияния на нашу жизнь. Первый прогноз заключался в том, что ИИ будет использоваться все чаще и чаще в различных областях, в том числе и в службе поддержки клиентов. Это приведет к тому, что люди будут часто не уверены, общаются они с человеком или с ИИ.
Второй прогноз касался негативных эффектов НЛП и ИИ, которые будут усиливаться вместе с положительными эффектами. Я беспокоился о таких вещах, как распространение дезинформации, разрушение рынка и системная предвзятость.
Однако, я не смог предсказать многих важных вещей, например, прогресс в моделях преобразования текста в изображение, таких как Dall-E2 и Stable Diffusion. Я думал, что эта область собиралась чахнуть в течение долгого времени, но мы получили невероятный набор достижений.
Я должен признать, что мои прогнозы были сделаны в 2020 году, и они должны были прослужить 10 лет, но большинство из них уже сбылись. Тем не менее, я считаю, что предсказывать на более длительный период времени сейчас невозможно, поскольку мы находимся в постоянном прогрессе и изменениях.
Я очень интересуюсь ваших прогнозах на будущее, но я думаю, что остановлюсь на этом и не буду делать дальнейших прогнозов до конца 2024 года.
Перечитав "лекцию" с сожалением понял, что труд был напрасным и текст не передает реальную речь профессора. Все искажено до неузнаваемости.
Завтра попробую написать свое обобщение содержания вебинара.