It has been proven in many quality-focused studies that machine translation output in some language pairs is still far from publishable (Koponen, 2016). Even so, post-editing has become a daily practice among translators and translation service providers, especially with language pairs where machine translation demonstrates good human parity. The fast development of machine translation and its quality improvement have led to a growing demand of post-editors. This study attempts to evaluate the quality of the most popular machine translation tools for the Lithuanian language in order to find the correlation between the results of automatic quality estimation (i.e., the BLUE score), human / manual evaluation of machine translation output quality following the multidimensional quality metrics (MQM) and the most common machine translation engines used by freelancers and language service providers. The conclusions are based on the findings of a survey and the automatic vs human / manual machine translation quality analysis. The findings demonstrate and support previous research that automatic machine translation quality estimation may not be taken for granted. Human / manual machine translation quality evaluation is still a better indicator whether a machine translation tool fits the purpose of translation. The study brings to the fore some insightful findings that may be beneficial for translator and post-editor trainers from the pedagogical perspective as well as for translation industry from the practical perspective.
У багатьох дослідженнях із якості перекладу було доведено, що результати машинного перекладу в деяких мовних парах все ще далекі від досконалості (Копонен, 2016). Подальше редагування машинного перекладу, тобто постредагування, стало звичайною практикою серед перекладачів та постачальників перекладацьких послуг, особливо з тими мовними парами, де машинний переклад демонструє відповідність iз точки зору семантики не достатньою мірою. Швидкий розвиток нейронного машинного перекладу та підвищення його якості призвели до зростання попиту на редакторів текстів, попередньо перекладених машиною.
У цьому дослідженні зроблено спробу оцінити якість найбільш популярних інструментів машинного перекладу литовською мовою з метою пошуку кореляції як між результатами оцінки якості машинного перекладу, виконаного автоматичним способом (із алгоритмом BLEU score), ручним способом (людиною) із застосуванням багатовимірних показників якості (MQM), так і найбільш поширеними програмами машинного перекладу, які використовують фрілансери та інші постачальники перекладацьких послуг. Висновки ґрунтуються на результатах опитування та аналізу якості перекладу, виконаного автоматичним способом та ручним способом (людиною). Отримані дані демонструють і підтверджують попередні дослідження, що оцінку якості машинного перекладу, виконаного автоматичним способом, не можна сприймати як належне. Оцінка якості машинного перекладу, відредагованого людиною, як і раніше, є найкращим індикатором того, чи відповідає такий інструмент машинного перекладу меті перекладу. Дослідження висуває на передній план деякі важливі узагальнення, які можуть бути корисні з дидактичного погляду тим, хто навчає перекладачів і редакторів машинного перекладу, а також цікаві для перекладачів-практиків загалом.
