Нейросеть по запросам¶

Нейросеть по запросам — термин, обозначающий нейронную сеть, которая работает в режиме запрос-ответ: пользователь формулирует текстовый запрос (промпт), а модель генерирует ответ, продолжение текста, изображение или другой выход. Такой режим стал основным способом взаимодействия с большими языковыми моделями (LLM) и генеративными нейросетями, получившими массовое распространение с конца 2022 года.

¶Принцип работы

Нейросеть по запросам строится на архитектуре трансформера. Модель обучается предсказывать следующий токен (словесную единицу) в последовательности, а при инференсе преобразует запрос пользователя в последовательность токенов и генерирует ответ поэтапно, выбирая наиболее вероятный следующий токен.

Ключевые этапы обработки запроса:

1. Токенизация — текст запроса разбивается на токены и преобразуется в числовые векторы.
2. Энкодирование — векторы проходят через слои внимания (attention), где модель учитывает связи между словами.
3. Генерация — модель последовательно выдаёт токены ответа, останавливаясь по заданным правилам (лимит токенов, специальные маркеры конца).

¶Классификация

По типу выхода нейросети по запросам делятся на:

¶История

Идея диалогового взаимодействия с машиной восходит к тесту Тьюринга (1950). Ранние системы — ELIZA (1966) и AIML-чатботы — работали на правилах, а не на нейросетях.

Переломным стал 2017 год, когда исследователи Google опубликовали статью «Attention Is All You Need», предложив архитектуру трансформера. В 2018 году OpenAI выпустила GPT, в 2019-м — GPT-2, в 2020-м — GPT-3 с 175 млрд параметров. Демонстрация ChatGPT (ноябрь 2022) показала массовую применимость нейросетей по запросам: сервис набрал 100 млн пользователей за два месяца.

В России крупнейшие модели создают «Яндекс» (YandexGPT, «Алиса»), «Сбер» («Салют», GigaChat), «Т-Банк» и МТС. В 2023 году «Яндекс» открыл доступ к API YandexGPT, а «Сбер» — к GigaChat, что позволило разработчикам интегрировать нейросети по запросам в свои продукты.

¶Промпт-инжиниринг

Эффективность нейросети по запросам сильно зависит от формулировки запроса — промпта. Практика оптимизации запросов получила название промпт-инжиниринг. Основные приёмы:

• Роль — задание модели контекста («ты — опытный редактор»).
• Формат — указание желаемой структуры ответа (список, таблица, абзацы).
• Ограничения — ограничение длины, стиля, набора фактов.
• Few-shot — демонстрация примеров желаемого ответа прямо в запросе.

¶Применение

Нейросети по запросам используются в:

• Поиске — «Яндекс» интегрировал нейросети в поисковую выдачу (режим «Нейро»), Microsoft — в Bing.
• Образовании — генерация объяснений, проверка домашних заданий, создание тестов.
• Программировании — автодополнение кода (GitHub Copilot, YandexGPT Code).
• Бизнесе — обработка обращений клиентов, генерация отчётов, анализ документов.
• Творчестве — написание текстов, создание иллюстраций, музыки.

¶Ограничения

Нейросети по запросам имеют известные недостатки:

• Галлюцинации — модель уверенно выдаёт фактически неверную информацию.
• Контекстное окно — ограничение на длину обрабатываемого текста (хотя современные модели поддерживают сотни тысяч токенов).
• Отсутствие актуальных данных — знания ограничены датой обучения модели.
• Стоимость — инференс больших моделей требует существенных вычислительных ресурсов.

¶См. также

• Промпт-инжиниринг
• Трансформер (нейросеть)
• Большая языковая модель
• Генеративный искусственный интеллект

¶Источники

• «Attention Is All You Need» — Vaswani A. et al., 2017.
• OpenAI. GPT-3: Language Models are Few-Shot Learners, 2020.
• Яндекс. Пресс-релизы о YandexGPT, 2023.
• Сбер. Пресс-релизы о GigaChat и «Салюте», 2023.
• ChatGPT: Optimizing Language Models for Dialogue — OpenAI, 2022.