«Яндекс» научил переводить текст с изображений с сохранением игры слов

Компания «Яндекс» улучшила технологию перевода текста с картинок и фото с помощью нейросети YandexGPT, говорится в пресс-релизе компании, поступившем в РБК.
Для перевода текста с изображений специалисты «Яндекса» создали адаптированную для этой работы модель YandexGPT. Нейросеть сохраняет стиль оригинального текста, игру слов, а также оригинальную верстку изображения, в частностишрифт и размер букв.
«Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке»,— говорится в сообщении.
Обновление для нескольких десятков языков доступно в «Яндекс Переводчике», в браузере, позже оно появится в приложении «Умная камера». В «Яндексе» отметили, что для улучшения технологии перевода компания одной из первых в мире применила большую языковую модель.
Созданную для перевода с картинки модель YandexGPT обучали на парах оригинальных и переведенных текстов. Нейросети демонстрировали эталонные и некачественные тексты, чтобы она подражала только хорошим примерам и не добавляла несуществующие детали, уточнили в компании.