ChatGPT — чат-бот на базе GPT¶
ChatGPT — чат-бот с искусственным интеллектом, созданный американской компанией OpenAI и запущенный 30 ноября 2022 года. Работает на основе больших языковых моделей семейства GPT (Generative Pre-trained Transformer), обученных на больших массивах текстовых данных и способных генерировать связный текст в ответ на запросы пользователя. Относится к классу генеративных моделей искусственного интеллекта и стал одним из самых массовых продуктов этой категории: к началу 2024 года число ежемесячных активных пользователей ChatGPT оценивалось в сотни миллионов человек по всему миру.
¶История
OpenAI — американская исследовательская организация в области искусственного интеллекта, основанная в 2015 году. Первая версия GPT была представлена в 2018 году, GPT-2 — в 2019-м, GPT-3 — в 2020-м. ChatGPT построен на модели GPT-3.5 и дообучен методом обучения с подкреплением на основе обратной связи от людей (RLHF), что позволило модели вести диалог, уточнять вопросы и отвечать на уточнения пользователя.
В декабре 2022 года OpenAI оценивала, что у сервиса около миллиона пользователей в первые пять дней после запуска. В январе 2023 года Microsoft, инвестировавшая в OpenAI около 10 млрд долларов, объявила о расширении партнёрства и интеграции технологий GPT в свои продукты, включая поисковую систему Bing. В марте 2023 года вышла модель GPT-4, а в ноябре 2023 года OpenAI провела первую конференцию DevDay и представила магазин приложений GPT Store.
¶Устройство и принцип работы
ChatGPT основан на архитектуре трансформер (Transformer), предложенной в статье 2017 года «Attention Is All You Need». Модель предсказывает следующий токен (фрагмент текста) в последовательности на основе контекста предыдущих слов, что позволяет генерировать связные ответы произвольной длины.
Обучение состоит из двух этапов:
- Предварительное обучение — на больших корпусах текста из интернета и книг модель учится предсказывать слова и усваивает статистические закономерности языка.
- Дообучение с подкреплением — человек-оператор оценивает ответы модели, формируются рейтинги, по которым обучается дополнительная модель-оценщик (reward model), а затем сама языковая модель оптимизируется на максимум одобрения.
Для ограничения нежелательных ответов применяются техники RLHF и фильтрация контента. Модель не имеет доступа к интернету в процессе генерации ответа (по умолчанию) и не «помнит» предыдущие диалоги между сессиями, хотя в интерфейсе предусмотрена возможность продолжать диалог.
¶Возможности
ChatGPT способен выполнять широкий круг задач текстовой обработки:
- отвечать на вопросы и объяснять сложные темы;
- писать и редактировать тексты, код, статьи;
- переводить между языками;
- помогать в обучении и решении задач;
- генерировать идеи, сценарии, планы;
- анализировать и резюмировать длинные документы.
В платной версии ChatGPT Plus (запущена в феврале 2023 года) доступна модель GPT-4, а также функции работы с изображениями (DALL-E), генерации речи и просмотра веб-страниц.
¶Ограничения
Модель может генерировать фактически неверные ответы (так называемые «галлюцинации»), особенно в узких и специализированных областях. Ответы строятся на статистических закономерностях обучающих данных и не гарантируют достоверность. Модель ограничена в знании текущих событий (данные обучающей выборки имеют дату отсечки), не выполняет арифметические операции точно без внешних инструментов и может воспроизводить предвзятости, присутствующие в обучающих данных. OpenAI рекомендует проверять важную информацию из независимых источников.
¶Распространение и влияние
После запуска ChatGPT вызвал волну интереса к генеративному искусственному интеллекту. Ряд технологических компаний представил собственные чат-боты: Google — Bard (позже Gemini), Яндекс — Alice и YandexGPT, Сбер — GigaChat, Тинькофф — GPT-4-базированные сервисы. В России аналоги разрабатываются в рамках национальных проектов по развитию ИИ.
В образовании ChatGPT вызвал дискуссии о честности студенческих работ: ряд университетов запретил или ограничил использование сервиса при написании эссе. В юридической сфере обсуждаются вопросы авторских прав на тексты, сгенерированные ИИ, и ответственность за их содержание.
¶См. также
- Искусственный интеллект
- Большие языковые модели
- Генеративный искусственный интеллект
- OpenAI
¶Источники
- OpenAI. ChatGPT: Optimizing Language Models for Dialogue (2022)
- Brown T. et al. Language Models are Few-Shot Learners // NeurIPS, 2020
- Vaswani A. et al. Attention Is All You Need // NeurIPS, 2017
- Ouyang L. et al. Training language models to follow instructions with human feedback // NeurIPS, 2022