AI 2023. Встречайте ChatGPT. - страница 73
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Интеллектуальная мощь GPT-4:
Что там с тестированием скальпера?
Запланированное тестирование ChatGPT отменяется т.к. он стремительно уходит в историю.
Подымается новый интеллектуальный монстр: GPT-4.
25К токенов против 4К!
Качественно новый уровень текста и кода + иллюстрации и работа с изображениями.
Тестировать будем GPT-4.
Нет. Передумал.
Мы все таки протестируем ChatGPT. Хотя осталось ему не долго, но у нас будут результаты, которые затем используем для сравнения с GPT-4.
Это поможет нам измерить скорость прогресса и оценить ближайшие перспективы.
Начнем тесты сегодня вечером.
Ну и там такое
Отлично, вот код, который можно использовать для создания расширения Google Chrome:
```
// Установка интервала напоминания в миллисекундах (3600000 миллисекунд = 1 час)
var interval = 3600000;
// Функция, которая будет выполняться каждый интервал времени
function remindToRest() {
alert("Пора отдохнуть! Сделайте паузу и отведите глаза от монитора.")
}
// Запуск таймера для напоминания
setInterval(remindToRest, interval);
```
Чтобы создать расширение, нужно выполнить следующие шаги:
1. Создайте новую папку и назовите ее, например, "my-extension".
2. В папке создайте файл manifest.json со следующим содержимым:
```
{
"name": "Название вашего расширения",
"version": "1.0",
"manifest_version": 2,
"description": "Описание вашего расширения",
"browser_action": {},
"permissions": [
"alarms",
"notifications"
]
}
```
3. Скопируйте код из примера в файл content.js в папке "my-extension".
4. Откройте Google Chrome, перейдите на chrome://extensions/ и включите "Режим разработчика".
5. Нажмите на кнопку "Загрузить распакованное расширение" и выберите папку "my-extension".
6. Расширение установлено! Теперь оно будет напоминать вам каждый час о необходимости отдыха.
Для уведомления пользователя можно использовать библиотеку Chrome API notifications. Чтобы добавить уведомление, нужно добавить следующий код в функцию remindToRest():
```
chrome.notifications.create({
type: "basic",
iconUrl: "icon.png",
title: "Пора отдохнуть!",
message: "Сделайте паузу и отведите глаза от монитора."
});
```
Помните, что перед этим нужно загрузить изображение для иконки расширения и сохранить его с именем "icon.png" в папке "my-extension".
Могут ли AI дать автономность и использование ресурсов не из глобального дата центра, а локально.
...
ИИ невозможно использовать локально. Чем большими способностями он обладает, тем больше данных и ресурсов требует, и тем меньше шансов создать офлайновую версию.
Возможно в будущем, локальный компьютер потянет версию ChatGPT, ограниченную функциями чатбота, но не более того.
Вывод: изолированное, локальное и офлайновое использование рабочего ПО на PC, без поддержки AI, уйдет в прошлое.
Подключение к ИИ означает подключение к серверу и другого пути не вижу.
Современная технология Нейросети обещает рост интеллектуальных способностей ИИ пропорционально увеличению данных обучающего сета и повышению мощности дата центра. Так может показаться на первый взгляд. Можно даже построить граф. Но, где то здесь зарыт предел, который еще предстоит найти.
Увеличение данных и вычислительной мощности продолжит усиливать интеллектуальные способности AI, но не бесконечно. Где то проходит граница и выход на плато. Но где? И когда?
...
Мы все таки протестируем ChatGPT. Хотя осталось ему не долго, но у нас будут результаты, которые затем используем для сравнения с GPT-4.
Это поможет нам измерить скорость прогресса и оценить ближайшие перспективы.
...
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
AI 2023. Встречайте ChatGPT.
Реter Konow, 2023.03.01 19:23
Вернемся к тестированию ChatGPT.
Хочу напомнить, что первый этап тестирования - проверку на широту знаний, мы провели. ChatGPT выдал таблицы с разделами фундаментальных, инженерных и гуманитарных наук, немного ошеломив нас пугающей громадой знаний. Результатом можно считать вывод, что ИИ обладает сверхчеловеческим объемом информации и нет смысла примитивно ловить его на невежестве. Он знает решительно все, либо почти все, что для рядового пользователя одно и тоже.
Результат первого теста перечеркнул запланированный второй этап - проверку на глубину знаний. Стало ясно, что для ChatGPT нет разницы между школьной и университетской программой. Он равнодушно поведает о таблице умножения и о квантовой теории поля, и ничуть не напряжется. Честно сказать, это сбило меня с толку. На время, я перестал понимать, как тестировать эту дьявольскую шкатулку, знающую ВСЕ. Но мое смятение было недолгим.
В первую очередь, стало понятно что ChatGPT плохо считает. Математику он конечно знает, но уравнения решает только легкие. Также, неоднократно выдавал логические ляпы и противоречия в суждениях. Стало ясно, что элементарной логикой он владеет, но как и с уравнениями, "проваливается" при усложнении. Однако, специально разрабатывать тесты для выявления точного уровня математических и логических способностей было не интересно. Понятно, это третий - пятый класс начальной школы.
Прежний вопрос остался без ответа: как определить область бытового и профессионального применения ИИ, и оценить реальный коммерческий потенциал? И где будет проходить граница возможностей через месяц, год? Безусловно, это зависит от технологии, а кто ее из нас тут достаточно хорошо знает, чтобы сказать точно? Продукт не завершен и развивается постоянно.
Можно сказать, что на данный момент мы имеем дело с полуфабрикатом, который и хорош и плох одновременно. Он недоделан. Какие еще возможности позволит приобрести технология на новых этапах развития, никто не скажет, но сейчас он как модный чемодан без ручки. И превосходит ожидания, и разочаровывает одновременно.
И все таки, мы продолжим тестирование и перейдем к бенчмаркингу - сопоставительному анализу на основе эталонных показателей. Будем сравнивать ChatGPT с Википедией. Задача - оценить ИИ в качестве надежного источника полной и достоверной информации сравнив его с другим, проверенным источником полной и достоверной информации. Разберемся, имеет ли ИИ право использоваться в ответственной и важной работе.
В следующих постах я изложу подготовленные критерии и тесты.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
AI 2023. Встречайте ChatGPT.
Реter Konow, 2023.03.02 20:49
О целях тестирования:
И так, Бенчмаркинг, это прогон некой электронной или программной системы на наборе тестовых заданий (задач), замер производительности и сравнение результатов с эталонными показателями. Не уверен, что наше тестирование ChatGPT можно назвать бенчмаркингом, но мы определенно проведем анализ полученных результатов и сравнение с эталоном (Википедией).
Википедия не программа, а ChatGPT не "книга", и тестирование не выявит технические показатели. Ни скорость ответов, ни лаги загрузки страниц. Основная цель, определение целесообразности использования ChatGPT источником достоверной информации в ответственной работе. Будем сверять точность, полноту и достоверность информации по спектру общечеловеческих знаний. Поэтому бенчмаркинг здесь, красивое слово немного подходящее по смыслу.
Среди прочих, одна из важнейших целей тестирования, определение технических ограничений LLM в качестве ИИ (для меня первичная цель). Главный мотив, найти абсолютный предел этой технологии. Насколько можно улучшать и когда упремся в "стену"? И каким подходом стену будем ломать?..
О показателях в фокусе исследования:
И Википедия, и ChatGPT представляют информацию в двух основных форматах: в описании и таблицах. Помимо таблиц, Чат может использовать графики и диаграммы, а Википедия иллюстрации, но их мы сравнивать не будем.
Нас интересует:
Обратите внимание на последний пункт. Структура и содержание таблицы отражает качество классификации предметных данных. В случае с Википедией, данные классифицируются людьми, но проверять мы будем ИИ (а не людей). Посмотрим, насколько хорошо классифицирует (связывает и распределяет данные) продвинутая языковая модель. Задача, подробно изучить и оценить обработку и вывод предметных данных, т.к. это суть предназначения разговорного ИИ.
Содержательность, полнота, точность и упорядоченность информации... все это тестируемые параметры.
Дисциплины выбранные для тестирования:
Каждая из этих наук имеет как описательное, так и табличное содержание, на основе которых можно строить разветвленные классификационные модели. С этой точки зрения, эти области знаний удачно подходят для нашего тестирования.
Заключение:
О тестовых заданиях, проверке и подведении результатов, и о выводах, расскажу в следующих постах.
Напомню утвержденный ранее план тестирования ChatGPT:
1. Проверка широты знаний.
2. Проверка глубины знаний.
3. Проверка логичности суждений.
4. Проверка математических способностей.
5. Сравнение ChatGPT и Википедии по полноте и упорядоченности описания предмета.
6. Сравнение ChatGPT и Википедии по полноте и упорядоченности представления данных в таблицах.
5 и 6 это сравнение качества структуризации предметной информации человеком (пока Википедию еще люди пишут) и ChatGPT.
Дисциплины выбранные для тестирования:
Основная цель, определение целесообразности использования ChatGPT источником достоверной информации в ответственной работе.
Вторичная цель: определение технических ограничений LLM в качестве ИИ
Тестируемые параметры: Содержательность, полнота, точность и упорядоченность информации.
Напомню тесты которые проводили ранее и результаты:
1. Тест на широту знаний.
Результат: ChatGPT знает на порядки больше человека. Объем теоретических знаний примерно эквивалентен большой городской библиотеке.
2. Проверка на глубину знаний.
Результат: на данный момент точного результата нет. Трудно сказать, насколько хорошо ChatGPT знает темы о которых рассуждает. Проверить невозможно из за ограниченности в токенах. Чат не может выдать ВСЕ знания по предмету, т.к. по мере изложения превысит лимит токенов и "забудет" изложенный ранее материал.
Также, Чат отвечает всегда в контексте вопроса и это ограничивает полноту содержания. Мы не можем точно измерить глубину знаний ChatGPT.
3. Проверка логики.
Результат: Чат относительно слаб в логике. Примерно, как ребенок младших классов.
4. Проверка математических способностей.
Результат: В сравнении со взрослым человеком, Чат плохо справляется с решением комплексных уравнений и задач, даже если прекрасно знает теорию и методы.