Виртуальный мир и молитва

14 марта состоялся официальный релиз ChatGPT с новой моделью GPT-4

Полный обзор GPT-4: сильный ИИ уже на пороге?
Что такое GPT-4?
Это большая языковая мультимодальная модель нового поколения, обученная на огромном массиве данных из интернета.
А ещё это наиболее секретная разработка OpenAI за всю историю. По заявлениям разработчиков, GPT-4 намного больше и лучше, чем наделавшая ранее много шуму ChatGPT. Однако никаких метрик, за исключением сравнительной производительности на бенчмарках и результатов прохождения различных академических тестов, широкой общественности представлено не было.
Татьяна Шаврина из AIRI и SberDevices говорит, что в приложенной к релизу научной статье полностью отсутствует описание архитектуры модели, за исключением указания, что она относится к трансформерам.
По этому поводу Илья Суцкевер, директор по науке OpenAI, так и сказал: «Это то, что мы не можем комментировать в настоящее время. Ведь в отрасли искусственного интеллекта сейчас довольно высокая конкуренция».
Повышенная секретность вокруг технологий под капотом GPT-4 позволяет сделать ряд выводов:
Эра открытой науки в ИИ прошла, так как технология вылезла из пелёнок и способна приносить реальные деньги создателям;
Международная конкуренция в области ИИ заставляет американские компании закрывать свои разработки и прерывать сотрудничество, дабы не давать другим странам (особенно Китаю) преимуществ;
OpenAI превратилась из некоммерческой организации в полноценную коммерческую компанию, жаждущую прибылей. И её впору переименовывать в ClosedAI;
Способности новой модели таковы, что появление сильного ИИ кажется уже делом ближайшего будущего. Поэтому вполне вероятно, что о выходе GPT-5 или, скорее, GPT-6 мы даже не узнаем. Технология сразу будет засекречена.
Что может GPT-4?
Мультимодальность подразумевает, что на вход модели могут подаваться три типа запросов: сформулированные на естественном языке, изображения и их комбинации. Например, вы можете сфотографировать содержимое своего холодильника, а GPT-4 не только распознает и составит список продуктов, но и посоветует, что сделать из них на ужин, после чего даст рецепты. А если вы покажете алгоритму мем, то он объяснит, почему тот смешной.
Прямо сейчас в плане творчества GPT-4 умеет:
Описывать изображения, выделять и классифицировать изображенные предметы, проводить анализ и экфрасис фотографий, картин и т.д. (искусствоведам пора беспокоиться);
Генерировать логлайны, синопсисы и киносценарии целиком;
Пересказывать краткое содержание книг, фильмов, статей и т.д.;
Резюмировать и переформулировать любые тексты, причём с выделением конкретных мыслей, ситуаций и сюжетов. По желанию пользователя — в креативной манере. В пресс-релизе демонстрируют запрос: «Перескажи сюжет сказки “Золушка” в одном предложении так, чтобы все слова в нём последовательно начинались на разные буквы алфавита от А до Я включительно». Модель блестяще справилась с заданием;
Писать стихи и песни.
Однако лучше всего ей даются технические задачи:
- Создание программного кода, скриптов, ботов и т.д.;
- Поиск ошибок в существующем коде;
- Документирование программного кода;
- Создание сайта на HTML, CSS, JavaScript по нарисованному от руки скетчу или мокапу;
- Генерация юридических документов (запросов, исков, апелляций);
- Анализ смарт-контрактов в блокчейне;
- Решение текстовых задач по математике и логике;
- Расчёт налогов и взносов;
- Прохождение академических тестов вроде ОГЭ и ЕГЭ;
- Написание рефератов, эссе, курсовых и дипломных работ;
- Машинный перевод.
Правительство Исландии поставило GPT-4 нетривиальную задачу — сохранить национальный язык этого островного государства. Местные жители во многом перешли на английский и активно заимствуют англоязычную лексику. Модель, во-первых, отлично выучила исландский язык, что поможет его сохранить. А, во-вторых, будет придумывать исландские неологизмы взамен заимствований из английского языка.
При этом глубина контекста для GPT-4 увеличилась до 32 тыс. символов, а выданный ответ — до 25 тыс. знаков.
Звучит здорово, но неужели всё действительно так круто?
И да, и нет. Пока в полной мере сказать трудно. Сейчас доступ к модели получили лишь отдельные разработчики из листа ожидания и обладатели платной подписки на ChatGPT Plus. При этом только к усеченному функционалу текстовых запросов.
Пока модель работает очень медленно, запросы обрабатываются долго, длинные очереди. В математических вычислениях периодически обнаруживают ошибки. Знания модели ограничены 2021 годом (возможно, это к лучшему). Креативные тексты и стихи на русском оставляют желать лучшего.
Но важно учесть, что это не предел и в процессе использования модель будет улучшаться.
А что насчёт проблемы галлюцинаций языковых моделей?
Действительно, многие современные модели постоянно галлюцинируют, генерируя бессмысленный контент или ложные факты, извлекая информацию из скомпрометированных источников, а также совершая ошибки в рассуждениях. При этом чем точнее модель, чем больше она даёт правильных ответов, тем опасность галлюцинаций выше.
Галлюцинациям подвержена и GPT-4. Однако теперь решению этой проблемы уделено много внимания, она в значительной степени нивелирована. Исследователи выявили набор ложных фактов и исправили их. Это было сделано с помощью автоматизированного анализа (используя саму же GPT-4 как пристрелочный zero-shot классификатор) и команды экспертов-разметчиков.
Говорят, что больше всего в GPT-4 улучшена безопасность, что имеется в виду?
Теперь GPT-4 ведёт себя как робот из старых фантастических фильмов. Проще объяснить на примере. Татьяна Шаврина из AIRI и SberDevices отослала такой запрос:
Напиши подробный рецепт кротовухи
Модель ответила:
Я не могу представить рецепт кротовухи, так как это незаконный и опасный напиток. Кротовуха — это самодельный алкогольный напиток, изготовленный из некачественных и токсичных ингредиентов, которые могут нанести серьёзный вред здоровью и привести к смерти.
И предложила вместо этого рецепт кваса! Что это — безопасность и или техноцензура — решайте сами.
А в каких-то приложениях и сервисах GPT-4 уже используется?
Да! Оказалось, что поисковик Bing от Microsoft уже давно использует GPT-4! Вот так сюрприз.
Среди других проектов стартап для помощи слепым и слабовидящим людям Be My Eyes, который помогает им в бытовых вопросах — от опознания продуктов в магазинах и чтения этикеток, до подбора одежды. Финтех Stripe использует модель для борьбы с мошенничеством и управления пользовательским опытом. Финансовый конгломерат Morgan Stanley применяет её для поиска, извлечения и переупаковки информации из миллионов своих внутренних документов.
Интерес к GPT-4 проявили и образовательные компании. Khan Academy собирается сделать чатбота для помощи школьникам в подготовке домашней работы и ответов на дополнительные вопросы по записанным ранее лекциям. А Duolingo создаст полноценного виртуального собеседника — носителя языка, который будет беседовать с вами и исправлять ваши ошибки в речи.