Яндекс Переводчик с фото¶
Яндекс Переводчик с фото — функция мобильного приложения «Яндекс Переводчик» компании «Яндекс», позволяющая распознавать текст на изображении с камеры или из галереи устройства и переводить его на выбранный язык. Функция основана на технологиях оптического распознавания символов (OCR) и нейромашинного перевода и работает в режиме реального времени, накладывая переведённый текст поверх оригинала.
¶История и развитие
Переводчик с камерой появился в приложении «Яндекс Переводчик» в конце 2010-х годов как развитие функции «Камера», запущенной в 2017 году. Изначально распознавание работало с ограниченным набором языков и требовало стабильного интернет-соединения. С развитием облачных и локальных моделей OCR точность распознавания выросла, а поддерживаемых языков стало больше.
Ключевые этапы развития:
- 2017 — запуск функции «Камера» в мобильном приложении «Яндекс Переводчик».
- 2019–2020 — расширение набора поддерживаемых языков, улучшение работы с рукописным текстом и нестандартным шрифтом.
- 2021–2022 — появление режима «Мгновенный перевод» (Live Translate), при котором текст переводится в реальном времени по мере наведения камеры.
- 2023–2024 — интеграция крупных языковых моделей, повышение точности перевода сложных и разговорных конструкций.
¶Как это работает
Функция объединяет несколько технологий:
- Захват изображения. Пользователь направляет камеру на текст (вывеску, меню, документ, дорожный знак) или загружает фотографию из галереи.
- OCR-распознавание. Алгоритмы определяют расположение текстовых блоков, выделяют символы и преобразуют их в машиночитаемый текст.
- Машинный перевод. Распознанный текст передаётся в переводческую систему «Яндекса» (на основе нейросетевых моделей), которая формирует перевод на целевой язык.
- Визуализация. Перевод отображается поверх оригинала — при этом сохраняется расположение и форматирование текста, что позволяет читать переведённый текст в контексте изображения.
¶Режимы работы
| Режим | Описание |
|---|---|
| Фото | Статичное распознавание: делается снимок или выбирается изображение из галереи, после чего выводится перевод |
| Мгновенный (Live) | Перевод в реальном времени по мере наведения камеры на текст |
| Документ | Сканирование многостраничных документов с сохранением структуры |
| Меню / вывески | Оптимизированный режим для коротких фрагментов текста в общественных местах |
¶Поддерживаемые языки
Функция работает с десятками языков, включая русский, английский, немецкий, французский, испанский, итальянский, португальский, турецкий, японский, китайский, корейский, арабский, хинди и другие. Точный список поддерживаемых языков для фото-перевода может отличаться от общего списка «Яндекс Переводчика» и периодически расширяется.
¶Применение
Основные сценарии использования:
- Путешествия — перевод вывесок, меню, билетов, дорожных указателей, описаний достопримечательностей.
- Деловая коммуникация — быстрое чтение иностранных документов, счетов, контрактов.
- Образование — распознавание и перевод учебных материалов, статей, книг.
- Повседневные задачи — перевод этикеток, инструкций, писем и сообщений.
¶Сравнение с аналогами
| Параметр | Яндекс Переводчик (фото) | Google Переводчик | DeepL |
|---|---|---|---|
| Перевод с камеры в реальном времени | Да | Да | Нет (только текст и документы) |
| Наложение перевода на изображение | Да | Да | Нет |
| Работа без интернета | Ограниченно (офлайн-пакеты) | Ограниченно | Нет |
| Сфокусированность на русском языке | Высокая | Средняя | Средняя |
¶Ограничения
- Точность распознавания снижается при сложном фоне, нестандартных шрифтах, рукописном тексте и низком качестве изображения.
- Часть функций доступна только при подключении к интернету.
- Перевод сленга, идиом и контекстно-зависимых выражений может быть неточным.
¶Источники
- Официальное описание приложения «Яндекс Переводчик» (App Store, Google Play)
- Справочные материалы Яндекса по сервису «Переводчик»
- Обзоры функции «Камера» в российских технологических изданиях