Описание изображения¶

Описание изображения — это устное или письменное изложение содержания визуального произведения: картины, фотографии, иллюстрации, схемы, видеокадра. Описание изображения представляет собой разновидность описательного текста, в котором передаются предметы, люди, действия, пространственные отношения, цветовые решения и общее настроение изображённой сцены. В русском языковом образовании описание картинки является стандартным упражнением по развитию речи, а в современной информатике — задачей компьютерного зрения и генеративного искусственного интеллекта.

¶Описание изображения в образовании

¶Школьная практика

В российской школе описание картины традиционно входит в курс русского языка и литературы начальной и основной школы. Ученикам предлагается рассмотреть репродукцию живописного полотна и составить развёрнутый текст, включающий:

• общее впечатление от изображения (что изображено, где и когда происходит действие);
• характеристику персонажей (внешность, одежда, выражение лица, позы);
• передний и задний план, пространственную композицию;
• цветовую гамму и свет;
• собственное отношение к сюжету.

Типичные картины для школьных заданий — произведения русской живописи: «Боярыня Морозова» В. И. Сурикова, «Бурлаки на Волге» И. Е. Репина, «Утро стрелецкой казни» В. И. Сурикова, «Зарево» А. М. Васнецова, «Троица» А. Рублёва.

¶Методические принципы

Методика описания изображения опирается на приём «от общего к частному»: сначала определяется тема и настроение, затем последовательно разбираются композиция, персонажи, детали. Важным элементом считается опора на художественные средства — эпитеты, метафоры, сравнения, — а также на наблюдение за деталями, которые раскрывают сюжет.

¶Описание изображения в лингвистике

¶Жанровые особенности

Описание изображения относится к описательному типу речи. Его отличает статичность (изображение не меняется во времени), изобилие деталей, обилие определений и обстоятельств места. В отличие от пересказа, описание не пересказывает события, а фиксирует состояние сцены. В отличие от рассуждения, оно не выдвигает тезисов и аргументов, хотя допускает элементы оценки.

¶Связь с визуальным анализом

Лингвистический анализ описания изображения включает изучение того, как вербальные средства (лексика, синтаксис, тропы) передают визуальные свойства объекта — перспективу, светотень, колорит, ритм композиции. Эта проблема исследуется в рамках лингвистической поэтики и теории межсемиотического перевода — перехода от одного знакового кода (визуального) к другому (вербальному).

¶Компьютерное описание изображений

¶Задачи компьютерного зрения

Автоматическое описание изображений (image captioning) — одна из центральных задач компьютерного зрения. Её суть — построение модели, которая по входному изображению генерирует текстовую фразу, описывающую его содержание. Задача решается методами глубокого обучения: свёрточные нейронные сети извлекают признаки изображения, а рекуррентные сети или трансформеры преобразуют их в текст.

¶Датасеты и метрики

Для обучения и оценки моделей используются крупные размеченные наборы данных, среди которых MS COCO (Common Objects in Context), Flickr30k, Visual Genome. Качество генерируемых описаний оценивается по метрикам BLEU, METEOR, CIDEr, SPICE, а также по сходству с человеком-экспертом.

¶Модели

Среди известных систем — Show and Tell (Google, 2015), NeuralTalk, а также современные мультимодальные модели на основе трансформеров (BLIP, LLaVA, GPT-4V), способные описывать изображения с высокой степенью детализации и отвечать на вопросы о содержании картинки.

¶Применение

• Доступность. Текстовые описания изображений используются для незрячих и слабовидящих пользователей: alt-тексты на сайтах, аудиоописания в кино и на телевидении.
• Поиск изображений. Текстовые описания позволяют искать картинки по естественному языковому запросу.
• Архивы и библиотеки. Метаданные и описания помогают каталогизировать цифровые коллекции музеев и библиотек.
• Образование. Компьютерные системы могут выступать помощниками при обучении описанию изображений.

¶Историческая справка

Интерес к описанию изображения как самостоятельному жанру возник в эпоху Возрождения, когда теоретики искусства (Леон Баттиста Альберти, Джорджо Вазари) описывали картины и скульптуры в своих трактатах. В России традиция описания картин получила развитие в XIX веке в связи с ростом публичных выставок и художественной критики. В XX веке описания изображений стали объектом исследования семиотики (Ролан Барт, «Camera Lucida», 1980) и искусствоведения.

¶Источники

• Введенская Л. А., Павлова Л. Л., Катюшина Ю. А. Русский язык. — М.: Просвещение.
• Сухомлинский В. А. О воспитании. — М.: Педагогика.
• Young P. et al. From image descriptions to visual denotations // TACL, 2014.
• Rennie S. J. et al. Self-critical sequence training for image captioning // CVPR, 2017.
• Барт Р. Camera Lucida. — М.: Ладомир, 2000.
• COCO: Common Objects in Context. — Microsoft Research, 2014.