Исследователи определили слабости современных нейросетей

Новая система оценки перевода от Яндекса RATE получила широкое признание в академическом мире и способна выявлять недостатки в переводах нейросетей, делая их более естественными и точными. Об этом сообщается в статье, представленном на международной конференции по машинному обучению EMNLP 2025, в которой участвуют такие компании, как Microsoft Research, Google Research и OpenAI.

Что такое RATE и как она работает

Разработка RATE (Refined Assessment for Translation Evaluation) позволяет исследователям не только обнаруживать ошибки в переводах, но и оценивать их значимость, классифицируя их от небольших неточностей до сильных искажений. Этот инструмент фокусируется на трех основных критериях: точности передачи смысла, естественности языка и соответствии стилю оригинала. Благодаря этому метод может применяться к различным типам текстов — от новостных статей и постов в социальных сетях до художественной литературы.

Какие проблемы решает новая метрика

Руководитель команды оценки качества перевода в Яндексе Екатерина Еникеева отметила, что предыдущие методы, такие как MQM (Multidimensional Quality Metrics) и ESA (Error Span Annotation), не обеспечивали необходимой детализации. «Эти метрики помогают проверить точность, но не позволяют оценить, насколько перевод получается естественным. RATE же дает полную картину качества перевода,» — объяснила она.

Как RATE проявила свою эффективность

В ходе сравнительного анализа, проведенного на данных международного конкурса WMT, RATE выявила в семь раз больше ошибок, чем MQM и ESA. По результатам исследования высококвалифицированные ИИ-тренеры отметили, что иное ПО не смогло обнаружить многие недочеты, которые заметили пользователи. Этот эксперимент подтвердил, что современные системы машинного перевода сделали значительный шаг вперед в точности, хотя они еще не достигли уровня человеческого перевода, который остается эталоном естественности и плавности речи.

Как Яндекс использует RATE

Компания Яндекс уже применяет RATE для улучшения своих моделей, адаптируя переводы под разнообразные сценарии — от деловой переписки до неформального общения. Кроме того, новая система помогает исследователям разрабатывать новые алгоритмы, которые ориентированы на воспроизведение живой человеческой речи, что является актуальным в условиях растущего формирования контента для различных коммуникационных платформ.