Фотоперевод в сервисах Яндекса¶
Фотоперевод — технология автоматического распознавания и перевода текста, зафиксированного на изображении (фотографии, скане, кадре видеопотока), с последующим отображением результата на экране устройства. В сервисах компании «Яндекс» функция реализована в приложении «Яндекс Переводчик» и в веб-версии сервиса, а также в ряде смежных продуктов. Инструмент позволяет переводить надписи, документы, вывески, меню и указатели без ручного ввода текста, в том числе с русского языка на английский и в обратном направлении.
¶Принцип работы
Фотоперевод объединяет три последовательных этапа обработки данных.
- Детекция текста. Алгоритм компьютерного зрения находит на изображении области, содержащие символы, и определяет их границы. На этом этапе отсекаются фоновые объекты, блики и шум.
- Оптическое распознавание символов (OCR). Выделенные фрагменты преобразуются в машиночитаемую строку. Современные модели распознают печатный и, с ограничениями, рукописный текст, поддерживают наклон строки и перспективные искажения.
- Машинный перевод. Распознанный текст передаётся в переводческий модуль, после чего результат накладывается поверх исходного изображения или выводится отдельным блоком.
Качество результата зависит от освещённости, резкости снимка, угла съёмки, контраста между текстом и фоном, а также от сложности шрифта. Для языков с латинской и кириллической графикой точность распознавания выше, чем для иероглифических систем.
¶Функции в приложении «Яндекс Переводчик»
Мобильное приложение доступно на платформах Android и iOS. Перевод по фото реализован через режим камеры и через импорт готового изображения из галереи.
| Режим | Описание |
|---|---|
| Съёмка в реальном времени | Наведение камеры на текст; перевод отображается поверх изображения |
| Импорт из галереи | Обработка ранее сделанного снимка или скриншота |
| Выделение фрагмента | Ручной выбор области изображения для распознавания |
| Копирование результата | Перенос переведённого текста в буфер обмена или другие приложения |
Поддерживается работа без подключения к сети при условии предварительной загрузки офлайн-словарей. Для русского и английского языков доступны компактные офлайн-модели, что позволяет пользоваться фотопереводом при отсутствии интернета, хотя качество распознавания в офлайн-режиме обычно ниже.
¶Веб-версия и другие продукты
На сайте translate.yandex.ru функция доступна через загрузку файла изображения. Помимо собственно переводчика, технологии распознавания применяются в «Яндекс Браузере» (перевод веб-страниц и встроенная функция распознавания текста на картинках), в приложениях «Яндекс Карты» и «Яндекс Путешествия» — для перевода названий объектов и отзывов, а также в сервисах для работы с документами.
Отдельное направление — перевод текста с изображений в реальном времени через камеру смартфона, что востребовано в поездках при чтении указателей, меню и объявлений.
¶Сценарии использования
- Чтение надписей и указателей в зарубежных поездках.
- Перевод инструкций, этикеток, технической документации.
- Работа с иностранными документами, сканами и фотографиями бумажных носителей.
- Перевод меню, билетов, расписаний.
- Учебные задачи: разбор текстов на изображениях при изучении языка.
¶Ограничения
Точность фотоперевода не абсолютна. Типичные проблемы:
- ошибки распознавания при низком разрешении, размытии, сильных бликах;
- сложности с рукописным текстом и декоративными шрифтами;
- искажения при переводе узкоспециальной терминологии, идиом и устойчивых выражений;
- ограниченная поддержка редких языковых пар;
- необходимость интернета для языков, офлайн-модели которых не загружены.
Кроме того, машинный перевод не учитывает контекст всего документа целиком, если распознаётся лишь фрагмент изображения, что может приводить к смысловым неточностям.
¶Развитие технологии
С середины 2010-х годов в переводческих сервисах произошёл переход от статистических моделей к нейронным сетям, что заметно повысило связность и естественность перевода. В области распознавания текста применяются свёрточные и трансформерные архитектуры, а также модели, устойчивые к искажениям перспективы. Дальнейшее развитие связано с повышением точности распознавания в сложных условиях, расширением списка поддерживаемых языков, ускорением обработки на устройстве и интеграцией фотоперевода в дополненную реальность, когда перевод накладывается на изображение в реальном времени без промежуточных шагов.
Российские разработки в этой сфере конкурируют с зарубежными аналогами, делая ставку на офлайн-режим, поддержку русского языка как исходного и целевого, а также на интеграцию с картографическими и поисковыми сервисами.
Источники: документация сервиса «Яндекс Переводчик»; материалы компании «Яндекс» о технологиях распознавания и машинного перевода; публикации по оптическому распознаванию символов и нейронному машинному переводу.