ChatGPT — чат-бот на основе GPT¶

ChatGPT — чат-бот с искусственным интеллектом, созданный компанией OpenAI и запущенный 30 ноября 2022 года. Работает на основе больших языковых моделей семейства GPT (Generative Pre-trained Transformer) и предназначен для генерации текста в диалоговом режиме: ответы на вопросы, написание и редактирование текстов, программирование, переводы, анализ данных. За первые два месяца работы ChatGPT привлёк более 100 миллионов пользователей, став одним из самых быстрорастущих потребительских приложений в истории.

¶История

¶Предыстория и разработка

Компания OpenAI основана в декабре 2015 года в Сан-Франциско как некоммерческая исследовательская организация. Соучредителями выступили Илон Маск, Сэм Олтман, Грег Брокман, Илья Суцкевер, Вольфганг Зобель и Джон Шульман. Первые модели GPT (2018) и GPT-2 (2019) показали возможности автогенерации текста, но не были ориентированы на диалог. GPT-3, представленная в июне 2020 года, содержала 175 миллиардов параметров и стала основой для коммерческого API-сервиса.

¶Запуск ChatGPT

ChatGPT построен поверх модели GPT-3.5 (и позднее GPT-4), дообученной методом обучения с подкреплением на основе обратной связи от людей (RLHF). Публичный запуск состоялся 30 ноября 2022 года в виде бесплатного веб-интерфейса. В феврале 2023 года OpenAI представила платную подписку ChatGPT Plus с приоритетным доступом к GPT-4. В мае 2023 года на конференции OpenAI DevDay была запущена платформа GPT Store и возможность создания пользовательских версий бота (GPTs).

¶Технология

¶Архитектура

ChatGPT основан на трансформерной архитектуре — нейросети с механизмом внимания (attention), которая обучается предсказывать следующий токен в последовательности. Модель обучена на большом корпусе текстов из интернета, книг и кода. Ключевой этап — дообучение с подкреплением: на основе тысяч оценок качества ответов от людей модель учится генерировать полезные, безопасные и правдоподобные ответы.

¶Возможности

• генерация текстов, кода, стихов и сценариев;
• ответы на вопросы и объяснение сложных тем;
• перевод между языками;
• анализ и суммирование документов;
• работа с изображениями (в версии с поддержкой мультимодальности);
• генерация изображений через интеграцию с DALL-E.

¶Ограничения

Модель может «галлюцинировать» — выдавать правдоподобные, но фактически неверные ответы. Она не имеет доступа к актуальным данным без плагинов и инструментов, ограничена контекстным окном и не способна к самостоятельному обучению после запуска. Ответы формируются вероятностно, поэтому один и тот же запрос может дать разные результаты.

¶Модели GPT

¶Влияние и распространение

ChatGPT стал одним из самых массовых ИИ-сервисов: к январю 2023 года у него было около 100 миллионов активных пользователей по оценке UBS. Сервис вызвал волну конкуренции: Google представила Bard (позже Gemini), Яндекс — YandexGPT, Сбер — GigaChat, Alibaba — Qwen. Многие компании интегрировали ChatGPT в свои продукты — от Microsoft (в составе Bing и Office) до образовательных платформ.

В России сервис недоступен для регистрации с российских номеров, однако пользователи получают к нему доступ через сторонние инструменты. Ответы ChatGPT на русском языке уступают английским по качеству, что связано с долей русскоязычных данных в обучающем корпусе.

¶Критика

ChatGPT стал предметом дискуссий о влиянии на образование, рынок труда и авторское право. Образовательные учреждения ряда стран ограничили использование сервиса для выполнения заданий. Писатели и издательства подали коллективные иски к OpenAI за использование их текстов при обучении моделей. Отдельные претензии касаются генерации вредоносного кода, дезинформации и предвзятости в ответах.

¶Источники

• OpenAI. ChatGPT: Optimizing Language Models for Dialogue. — 2022.
• UBS. ChatGPT sets record for fastest-growing user base. — 2023.
• Brown T. et al. Language Models are Few-Shot Learners. — NeurIPS, 2020.
• Ouyang L. et al. Training language models to follow instructions with human feedback. — NeurIPS, 2022.
• Википедия: ChatGPT, OpenAI, GPT (языковая модель).