Перевод нейросетью¶

Перевод нейросетью — вид машинного перевода, при котором текст с одного языка на другой переносится с использованием нейронных сетей, обученных на больших корпусах параллельных текстов. В отличие от статистического машинного перевода, основанного на подсчёте соответствий между фрагментами текста, нейромашинный перевод строит перевод целиком как последовательность символов, опираясь на обученные модели. С 2010-х годов этот подход стал основным в индустрии перевода и вытеснил прежние системы.

¶История

¶Статистический машинный перевод

До конца 2000-х годов доминирующим подходом был статистический машинный перевод. Системы IBM, а затем Google и Microsoft строили модели на основе параллельных корпусов: они подсчитывали частоты соответствий между фрагментами текста (фразами, словами) на исходном и целевом языке и выбирали наиболее вероятный вариант перевода. Качество таких систем зависело от объёма корпусов и было ограничено: переводы часто звучали неестественно и содержали ошибки грамматики.

¶Появление нейромашинного перевода

В 2014–2016 годах исследователи предложили использовать нейронные сети для перевода. Ключевую роль сыграла архитектура «энкодер-декодер» (encoder-decoder) с механизмом внимания (attention), предложенная в 2014 году. В 2016 году Google представил систему Google Neural Machine Translation (GNMT), основанную на рекуррентных нейронных сетях с долгократной памятью (LSTM). В 2017 году команда исследователей опубликовала статью «Attention Is All You Need», в которой была предложена архитектура Transformer, полностью построенная на механизме внимания без рекуррентных связей. Именно Transformer стал основой современных систем перевода, включая модели на основе больших языковых моделей.

¶Устройство

¶Принцип работы

Нейросеть для перевода обучается на параллельных корпусах — коллекциях текстов, где один и тот же смысл выражен на двух языках. Модель учится сопоставлять исходный текст с целевым: на этапе обучения она получает на вход текст на одном языке и «правильный» перевод на другом, корректируя свои веса так, чтобы результат совпадал с эталоном.

Современные системы используют архитектуру Transformer, в которой каждый токен (слово или часть слова) исходного текста «внимательно» связывается с каждым токеном целевого языка. Это позволяет модели учитывать контекст целиком, а не обрабатывать текст последовательно, как делали рекуррентные сети.

¶Токенизация и словарь

Перед обработкой текст разбивается на токены — подсловные единицы, что позволяет модели работать с редкими словами и словоформами. Для языков с богатой морфологией, включая русский, подсловная токенизация особенно важна: она позволяет модели обобщать информацию между словами с общими корнями.

¶Обучение и дообучение

Большие языковые модели (например, GPT, mBART, NLLB от Meta) проходят предварительное обучение на огромных текстовых корпусах, после чего дообучаются на параллельных данных для задачи перевода. Такой подход позволяет моделям использовать общие знания о языке и повышает качество перевода на редких языковых парах.

¶Качество и оценка

Качество машинного перевода оценивается по нескольким метрикам. Наиболее распространена метрика BLEU (Bilingual Evaluation Understudy), которая сравнивает машинный перевод с эталонным человеческим переводом по совпадению n-грамм. Более продвинутые метрики — COMET, BLEURT — учитывают семантику и близость к человеческой оценке. В 2018 году исследователи показали, что на некоторых языковых парах нейромашинный перевод достигает качества, сопоставимого с человеческим, хотя на сложных текстах (юридических, медицинских, художественных) разрыв сохраняется.

¶Применение

Нейромашинный перевод используется в поисковых системах, встроенных переводчиках, локализации программного обеспечения и интерфейсов, субтитрировании, обработке документов. В России системы перевода разрабатываются в ряде исследовательских центров и технологических компаний; для русского языка существуют модели, обученные на параллельных русско-английских и русско-китайских корпусах.

¶Ограничения

Несмотря на прогресс, перевод нейросетью имеет ограничения. Модели склонны к «галлюцинациям» — генерации правдоподобных, но неверных переводов, особенно на редких языковых парах. Терминологические и стилистические ошибки сохраняются в специализированных текстах. Полностью автоматический перевод художественной литературы по-прежнему считается нерешённой задачей.

¶Источники

• Sutskever, I., Vinyals, O., Le, Q. V. Sequence to Sequence Learning with Neural Networks. — 2014.
• Bahdanau, D., Cho, K., Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. — 2014.
• Vaswani, A. et al. Attention Is All You Need. — 2017.
• Wu, Y. et al. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. — 2016.
• Artetxe, M., Schwenk, H., Costa-jussà, M. A. Massively Multilingual Sentence Embeddings. — 2019.